测试积点老人 发表于 2021-1-26 11:46:59

爬取网页时出现多个界面网址一致的情况，怎么解决？

爬取网页时出现多个界面网址一致的情况，且发送的请求除cookie里的token之外全部一致。。这种情况还能爬取么？多界面网址一致画了个示意图

qqq911 发表于 2021-1-27 10:48:08

这种一般是js调用了

郭小贱 发表于 2021-1-27 11:19:44

https://bbs.csdn.net/topics/391078116?page=1参考这篇文章看看呢。

jingzizx 发表于 2021-1-27 17:20:42

应该有方法的

msnshow 发表于 2021-1-31 13:26:29

没明白，网址一样是正确的还是错误的，你是想不重复爬取还是想干嘛
页: [1]
查看完整版本: 爬取网页时出现多个界面网址一致的情况，怎么解决？