51Testing软件测试论坛

标题: 请python 爬虫高手(selenium技术)帮忙解决几个问题,谢谢。 [打印本页]

作者: 测试积点老人 时间: 2019-1-9 10:17
标题: 请python 爬虫高手(selenium技术)帮忙解决几个问题,谢谢。
环境:python36,selenium 3.3.1,phantomjs2.1.1
描述:我利用python中selenium模块的phantomjs对网页进行拍照,其中有几个小bug,请高手支支招，如下问题:
1.某些网站会有反爬机智，导致拍照失败:如图

[attach]120814[/attach]

导致的原因我认为是标红框的地方,是否可以更改,把这个删掉?或者其他办法。

2.在截图中，有些浮动的广告，需要点击关闭,selenium虽然有点击的功能,但是如何判断它是广告呢?

3.在连接网站时，有时会报错,报错内容是timeout，但是我手动打开连接却很快就能打开，应该如何解决呢？

以上3个问题困扰小弟好长时间，请高手支招，谢谢~~~

作者: 海海豚 时间: 2019-1-10 10:08
可以，这个是user-agent，可以修改
https://blog.csdn.net/zaixiahanli/article/details/64479463

第二个问题，结合一些特征判断，比如说多数的广告为了保持在最上面，z-index都设置成99999

最后一个问题，加上一点延迟，或者死循环判断是否加载，直到加载了再退出循环，继续执行。

作者: abcsell 时间: 2019-1-10 10:44
检查下链接吧，估计有区别

作者: qqq911 时间: 2019-1-10 11:10
加一点随机等待时间

作者: jingzizx 时间: 2019-1-10 12:36
二楼很详细

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)