测试积点老人 发表于 2021-8-9 11:26:19

能否实现绕开反爬获取网页元素并发送给python

网页反爬机制比较厉害，尝试selenium＋mitmproxy也破不了。网页是socket发送信息的。
逻辑很简单，我的目标是直接获取网页加载完毕后某个时点的页面信息然后发送到python中处理。现在通过chrome的 web scraper插件，可以获取到相关信息，但是爬到的数据只能下载到电脑中再进行处理。有没有办法能直接发送至python中？
此外，通过mitmproxy可以获取到socket发送的信息，但是解析太困难了，有没有办法通过mitmproxy或其他工具直接获取页面elements，就是最表明的东西，不需要深层次的socket信息。

bellas 发表于 2021-8-10 09:24:31

参考下这个链接https://ask.csdn.net/questions/7486302

海海豚 发表于 2021-8-10 10:59:57

反爬机制就是为了防止你这种行为发生呀

qqq911 发表于 2021-8-10 11:49:52

socket的话应该是可以获取到返回信息的

litingting0214 发表于 2021-8-10 13:37:06

我理解加上反爬机制就为了让你绕不开吧

jingzizx 发表于 2021-8-10 14:37:55

肯定要多个方式跳转才能获取，要不这个机制的作用就不在了
页: [1]
查看完整版本: 能否实现绕开反爬获取网页元素并发送给python