51Testing软件测试论坛

标题: 救，关于scrapy+selenium爬取，详细页才用selenium [打印本页]

作者: 测试积点老人 时间: 2021-12-6 09:56
标题: 救，关于scrapy+selenium爬取，详细页才用selenium
问题遇到的现象和发生背景

主页的链接传不进去，只会一直循环爬取第一个页面

问题相关代码，请勿粘贴截图

主spider

[attach]135655[/attach]

中间插件的

[attach]135656[/attach]

运行结果及报错内容

[attach]135657[/attach]

我想要达到的结果

主页能进行循环，而不是只能爬那个主页

作者: 海海豚 时间: 2021-12-7 09:49
https://blog.csdn.net/sinat_40431164/article/details/81200207参考下这个

作者: qqq911 时间: 2021-12-7 10:32
估计是有反爬机制吧

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)