设为首页收藏本站
开启辅助访问 软件测试门户软件测试培训软件测试论坛测试解决方案文章资料精选软件测试博客软件测试招聘

51Testing软件测试论坛

 找回密码
 (注-册)加入51Testing

QQ登录

只需一步，快速开始

微信登录，快人一步

手机号码，快捷登录

51Testing软件测试论坛 »软件测试论坛 › [软件测试综合栏目] › [51Testing软件测试沙龙] › [测试积点任务] › 爬取网页时出现多个界面网址一致的情况，怎么解决？
返回列表 发新帖
查看: 3223|回复: 4
打印 上一主题 下一主题

爬取网页时出现多个界面网址一致的情况，怎么解决？

[复制链接]
测试积点老人
  • TA的每日心情
    无聊
    8 小时前

    • 签到天数: 528 天

    连续签到: 1 天

    [LV.9]测试副司令
    跳转到指定楼层
    1#
    发表于 2021-1-26 11:46:59 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    1测试积点

    爬取网页时出现多个界面网址一致的情况，且发送的请求除cookie里的token之外全部一致。。这种情况还能爬取么？

    多界面网址一致画了个示意图


    附件: 您需要 登录 才可以下载或查看，没有帐号？(注-册)加入51Testing
    分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
    微信
    收藏收藏
    【你来问我来答第140期】：敏捷测试的奥秘与挑战：问答专场！
    回复

    使用道具 举报

    qqq911
  • TA的每日心情
    奋斗
    7 小时前

    • 签到天数: 1517 天

    连续签到: 1 天

    [LV.Master]测试大本营
    2#
    发表于 2021-1-27 10:48:08 | 只看该作者
    这种一般是js调用了
    回复

    使用道具 举报

    郭小贱
  • TA的每日心情
    奋斗
    2024-10-22 14:23

    • 签到天数: 1007 天

    连续签到: 1 天

    [LV.10]测试总司令
    3#
    发表于 2021-1-27 11:19:44 | 只看该作者
    https://bbs.csdn.net/topics/391078116?page=1  参考这篇文章看看呢。
    【你来问我来答第140期】：敏捷测试的奥秘与挑战：问答专场！
    回复

    使用道具 举报

    jingzizx
  • TA的每日心情
    奋斗
    10 小时前

    • 签到天数: 2813 天

    连续签到: 1 天

    [LV.Master]测试大本营
    4#
    发表于 2021-1-27 17:20:42 | 只看该作者
    应该有方法的
    回复

    使用道具 举报

    msnshow
  • TA的每日心情
    奋斗
    2022-5-8 19:23

    • 签到天数: 137 天

    连续签到: 1 天

    [LV.7]测试师长
    5#
    发表于 2021-1-31 13:26:29 | 只看该作者
    没明白，网址一样是正确的还是错误的，你是想不重复爬取还是想干嘛
    回复

    使用道具 举报

    返回列表 发新帖

    本版积分规则

    关闭

    站长推荐上一条 /1 下一条

    小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 )  关于我们

    GMT+8, 2024-11-18 18:20 , Processed in 0.064066 second(s), 22 queries .

    Powered by Discuz! X3.2

    © 2001-2024 Comsenz Inc.

    快速回复 返回顶部 返回列表