51Testing软件测试论坛

 找回密码
 (注-册)加入51Testing

QQ登录

只需一步,快速开始

微信登录,快人一步

手机号码,快捷登录

查看: 1545|回复: 2
打印 上一主题 下一主题

无法爬取boss直聘岗位信息对应的标签列表

[复制链接]
  • TA的每日心情
    无聊
    昨天 09:47
  • 签到天数: 528 天

    连续签到: 1 天

    [LV.9]测试副司令

    跳转到指定楼层
    #
    发表于 2021-10-12 10:23:38 | 只看该作者 回帖奖励 |正序浏览 |阅读模式
    1测试积点
    目的:获取li标签列表,从而获取岗位信息和岗位描述

    scrapy效果

    requests效果

    selenium效果

    结论
    使用selenium可以爬取li标签列表,但是使用scrapy框架和requests模块无法得到li标签列表

    附件: 您需要 登录 才可以下载或查看,没有帐号?(注-册)加入51Testing
    分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
    收藏收藏
    回复

    使用道具 举报

  • TA的每日心情
    慵懒
    8 小时前
  • 签到天数: 1518 天

    连续签到: 2 天

    [LV.Master]测试大本营

    2#
    发表于 2021-10-13 10:27:49 | 只看该作者
    有反爬机制吧
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    9 小时前
  • 签到天数: 1803 天

    连续签到: 2 天

    [LV.Master]测试大本营

    1#
    发表于 2021-10-13 09:35:44 | 只看该作者
    直接用selenium吧
    回复

    使用道具 举报

    本版积分规则

    关闭

    站长推荐上一条 /1 下一条

    小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 关于我们

    GMT+8, 2024-11-19 18:35 , Processed in 0.068591 second(s), 24 queries .

    Powered by Discuz! X3.2

    © 2001-2024 Comsenz Inc.

    快速回复 返回顶部 返回列表