测试积点老人 发表于 2021-6-3 13:33:47

selenium模拟点击是不是比直接requests解析速度慢很多很多?

我之前爬一个网站，requests获得源代码后直接解析，大概120位老师的简介，爬到第19位就显示无法获得连接，我百度了下说是IP访问太快服务器不响应（反爬虫），后来找了个代理ip，几分钟就爬完了。我又用selenium模拟点击，每打开一个页面设置停1秒，100多位老师的信息爬了一个多小时。因为代理很难找到能用的，而且我暂时还不会维护代理池，正在纠结是继续用selenium爬下去还是学一下代理池用requests爬。所以我想再确认一下，爬虫时，requests发送请求后解析是不是比selenium模拟点击快很多很多？类似这种几分钟和一个多小时的差别。如果是的话就果断学代理池。希望路过的各位大佬不吝赐教！

bellas 发表于 2021-6-4 09:46:39

来学习

qqq911 发表于 2021-6-4 11:05:11

但是会比较方便一些

郭小贱 发表于 2021-6-4 13:25:10

感觉requests更方便些吧。
页: [1]
查看完整版本: selenium模拟点击是不是比直接requests解析速度慢很多很多?