51Testing软件测试论坛

 找回密码
 (注-册)加入51Testing

QQ登录

只需一步,快速开始

微信登录,快人一步

手机号码,快捷登录

查看: 1080|回复: 1
打印 上一主题 下一主题

scrapy框架与selenium,如何使中间件返回多个response

[复制链接]
  • TA的每日心情
    无聊
    4 天前
  • 签到天数: 530 天

    连续签到: 2 天

    [LV.9]测试副司令

    跳转到指定楼层
    1#
    发表于 2022-1-17 10:54:36 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    1测试积点

    万分感谢您的解答与建议

    我的中间件中实现了模拟登录(中间有手机验证码的登录,手机验证码发送次数有限制)和返回需要爬取的某一页(需要返回不止一页)

    但是,我只能返回一个response,
    如果多次返回一个response来代替返回多个response的话,不能重复登录(验证码次数超限),
    如果把selenium模拟登录放在其他地方的话,或者第二次进入不去执行它的话,没有登录状态爬不了数据(使用着代理IP池,如果保存cookie,可能与yield Request的IP不匹配)


    分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
    收藏收藏
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    2 小时前
  • 签到天数: 1522 天

    连续签到: 1 天

    [LV.Master]测试大本营

    2#
    发表于 2022-1-18 10:23:42 | 只看该作者
    需要保存下session之类信息
    回复

    使用道具 举报

    本版积分规则

    关闭

    站长推荐上一条 /1 下一条

    小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 关于我们

    GMT+8, 2024-11-25 12:33 , Processed in 0.066091 second(s), 22 queries .

    Powered by Discuz! X3.2

    © 2001-2024 Comsenz Inc.

    快速回复 返回顶部 返回列表