51Testing软件测试论坛

标题: 爬取网页时出现多个界面网址一致的情况，怎么解决？ [打印本页]

作者: 测试积点老人 时间: 2021-1-26 11:46
标题: 爬取网页时出现多个界面网址一致的情况，怎么解决？

爬取网页时出现多个界面网址一致的情况，且发送的请求除cookie里的token之外全部一致。。这种情况还能爬取么？

多界面网址一致画了个示意图

[attach]132049[/attach]

作者: qqq911 时间: 2021-1-27 10:48
这种一般是js调用了

作者: 郭小贱 时间: 2021-1-27 11:19
https://bbs.csdn.net/topics/391078116?page=1 参考这篇文章看看呢。

作者: jingzizx 时间: 2021-1-27 17:20
应该有方法的

作者: msnshow 时间: 2021-1-31 13:26
没明白，网址一样是正确的还是错误的，你是想不重复爬取还是想干嘛

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)