51Testing软件测试论坛

标题: 能否实现绕开反爬获取网页元素并发送给python [打印本页]

作者: 测试积点老人 时间: 2021-8-9 11:26
标题: 能否实现绕开反爬获取网页元素并发送给python

网页反爬机制比较厉害，尝试selenium＋mitmproxy也破不了。网页是socket发送信息的。
逻辑很简单，我的目标是直接获取网页加载完毕后某个时点的页面信息然后发送到python中处理。

现在通过chrome的 web scraper插件，可以获取到相关信息，但是爬到的数据只能下载到电脑中再进行处理。有没有办法能直接发送至python中？
此外，通过mitmproxy可以获取到socket发送的信息，但是解析太困难了，有没有办法通过mitmproxy或其他工具直接获取页面elements，就是最表明的东西，不需要深层次的socket信息。

作者: bellas 时间: 2021-8-10 09:24
参考下这个链接https://ask.csdn.net/questions/7486302

作者: 海海豚 时间: 2021-8-10 10:59
反爬机制就是为了防止你这种行为发生呀

作者: qqq911 时间: 2021-8-10 11:49
socket的话应该是可以获取到返回信息的

作者: litingting0214 时间: 2021-8-10 13:37
我理解加上反爬机制就为了让你绕不开吧

作者: jingzizx 时间: 2021-8-10 14:37
肯定要多个方式跳转才能获取，要不这个机制的作用就不在了

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)