测试积点老人 发表于 2022-1-17 10:54:36

scrapy框架与selenium,如何使中间件返回多个response

万分感谢您的解答与建议我的中间件中实现了模拟登录(中间有手机验证码的登录,手机验证码发送次数有限制)和返回需要爬取的某一页(需要返回不止一页)但是,我只能返回一个response,
如果多次返回一个response来代替返回多个response的话,不能重复登录(验证码次数超限),
如果把selenium模拟登录放在其他地方的话,或者第二次进入不去执行它的话,没有登录状态爬不了数据(使用着代理IP池,如果保存cookie,可能与yield Request的IP不匹配)

qqq911 发表于 2022-1-18 10:23:42

需要保存下session之类信息
页: [1]
查看完整版本: scrapy框架与selenium,如何使中间件返回多个response