51Testing软件测试论坛

 找回密码
 (注-册)加入51Testing

QQ登录

只需一步,快速开始

微信登录,快人一步

手机号码,快捷登录

查看: 3825|回复: 3
打印 上一主题 下一主题

selenium模拟点击是不是比直接requests解析速度慢很多很多?

[复制链接]
  • TA的每日心情
    无聊
    昨天 09:47
  • 签到天数: 528 天

    连续签到: 1 天

    [LV.9]测试副司令

    跳转到指定楼层
    1#
    发表于 2021-6-3 13:33:47 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    1测试积点
    我之前爬一个网站,requests获得源代码后直接解析,大概120位老师的简介,爬到第19位就显示无法获得连接,我百度了下说是IP访问太快服务器不响应(反爬虫),后来找了个代理ip,几分钟就爬完了。
    我又用selenium模拟点击,每打开一个页面设置停1秒,100多位老师的信息爬了一个多小时。
    因为代理很难找到能用的,而且我暂时还不会维护代理池,正在纠结是继续用selenium爬下去还是学一下代理池用requests爬。
    所以我想再确认一下,爬虫时,requests发送请求后解析是不是比selenium模拟点击快很多很多?类似这种几分钟和一个多小时的差别。如果是的话就果断学代理池。
    希望路过的各位大佬不吝赐教!

    分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
    收藏收藏
    回复

    使用道具 举报

  • TA的每日心情
    擦汗
    昨天 14:30
  • 签到天数: 752 天

    连续签到: 1 天

    [LV.10]测试总司令

    2#
    发表于 2021-6-4 09:46:39 | 只看该作者
    来学习
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    昨天 10:24
  • 签到天数: 1517 天

    连续签到: 1 天

    [LV.Master]测试大本营

    3#
    发表于 2021-6-4 11:05:11 | 只看该作者
    但是会比较方便一些
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    2024-10-22 14:23
  • 签到天数: 1007 天

    连续签到: 1 天

    [LV.10]测试总司令

    4#
    发表于 2021-6-4 13:25:10 | 只看该作者
    感觉requests更方便些吧。
    回复

    使用道具 举报

    本版积分规则

    关闭

    站长推荐上一条 /1 下一条

    小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 关于我们

    GMT+8, 2024-11-19 04:27 , Processed in 0.060457 second(s), 22 queries .

    Powered by Discuz! X3.2

    © 2001-2024 Comsenz Inc.

    快速回复 返回顶部 返回列表