51Testing软件测试论坛

 找回密码
 (注-册)加入51Testing

QQ登录

只需一步,快速开始

微信登录,快人一步

手机号码,快捷登录

查看: 2390|回复: 4
打印 上一主题 下一主题

[求助] 请python 爬虫高手(selenium技术)帮忙解决几个问题,谢谢。

[复制链接]
  • TA的每日心情
    擦汗
    昨天 09:09
  • 签到天数: 526 天

    连续签到: 3 天

    [LV.9]测试副司令

    跳转到指定楼层
    1#
    发表于 2019-1-9 10:17:00 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    1测试积点
    环境:python36,selenium 3.3.1,phantomjs2.1.1
    描述:我利用python中selenium模块的phantomjs对网页进行拍照,其中有几个小bug,请高手支支招,如下问题:
    1.某些网站会有反爬机智,导致拍照失败:如图



    导致的原因我认为是标红框的地方,是否可以更改,把这个删掉?或者其他办法。

    2.在截图中,有些浮动的广告,需要点击关闭,selenium虽然有点击的功能,但是如何判断它是广告呢?

    3.在连接网站时,有时会报错,报错内容是timeout,但是我手动打开连接却很快就能打开,应该如何解决呢?

    以上3个问题困扰小弟好长时间,请高手支招,谢谢~~~



    附件: 您需要 登录 才可以下载或查看,没有帐号?(注-册)加入51Testing
    分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
    收藏收藏
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    昨天 08:44
  • 签到天数: 1800 天

    连续签到: 4 天

    [LV.Master]测试大本营

    2#
    发表于 2019-1-10 10:08:50 | 只看该作者
    可以,这个是user-agent,可以修改
    https://blog.csdn.net/zaixiahanli/article/details/64479463

    第二个问题,结合一些特征判断,比如说多数的广告为了保持在最上面,z-index都设置成99999

    最后一个问题,加上一点延迟,或者死循环判断是否加载,直到加载了再退出循环,继续执行。
    回复

    使用道具 举报

  • TA的每日心情
    开心
    7 天前
  • 签到天数: 473 天

    连续签到: 2 天

    [LV.9]测试副司令

    3#
    发表于 2019-1-10 10:44:15 | 只看该作者
    检查下链接吧,估计有区别
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    昨天 09:56
  • 签到天数: 1515 天

    连续签到: 4 天

    [LV.Master]测试大本营

    4#
    发表于 2019-1-10 11:10:39 | 只看该作者
    加一点随机等待时间
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    昨天 07:24
  • 签到天数: 2811 天

    连续签到: 4 天

    [LV.Master]测试大本营

    5#
    发表于 2019-1-10 12:36:20 | 只看该作者
    二楼很详细
    回复

    使用道具 举报

    本版积分规则

    关闭

    站长推荐上一条 /1 下一条

    小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 关于我们

    GMT+8, 2024-11-15 06:11 , Processed in 0.066231 second(s), 22 queries .

    Powered by Discuz! X3.2

    © 2001-2024 Comsenz Inc.

    快速回复 返回顶部 返回列表