51Testing软件测试论坛

标题: selenium模拟点击是不是比直接requests解析速度慢很多很多? [打印本页]

作者: 测试积点老人 时间: 2021-6-3 13:33
标题: selenium模拟点击是不是比直接requests解析速度慢很多很多?

我之前爬一个网站，requests获得源代码后直接解析，大概120位老师的简介，爬到第19位就显示无法获得连接，我百度了下说是IP访问太快服务器不响应（反爬虫），后来找了个代理ip，几分钟就爬完了。

我又用selenium模拟点击，每打开一个页面设置停1秒，100多位老师的信息爬了一个多小时。

因为代理很难找到能用的，而且我暂时还不会维护代理池，正在纠结是继续用selenium爬下去还是学一下代理池用requests爬。

所以我想再确认一下，爬虫时，requests发送请求后解析是不是比selenium模拟点击快很多很多？类似这种几分钟和一个多小时的差别。如果是的话就果断学代理池。

希望路过的各位大佬不吝赐教！

作者: bellas 时间: 2021-6-4 09:46
来学习

作者: qqq911 时间: 2021-6-4 11:05
但是会比较方便一些

作者: 郭小贱 时间: 2021-6-4 13:25
感觉requests更方便些吧。

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)