51Testing软件测试论坛

 找回密码
 (注-册)加入51Testing

QQ登录

只需一步,快速开始

微信登录,快人一步

手机号码,快捷登录

查看: 1417|回复: 4
打印 上一主题 下一主题

为什么用selenium抓取不到淘宝网页数据?

[复制链接]
  • TA的每日心情
    无聊
    4 天前
  • 签到天数: 530 天

    连续签到: 2 天

    [LV.9]测试副司令

    跳转到指定楼层
    1#
    发表于 2022-1-25 10:54:07 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    1测试积点
    我在做一个利用selenium模块,抓取淘宝数据的自动化程序。前面的自动打开浏览器,自动输入搜索内容,自动滑动网页游标都能够正常运行,但是到抓取淘宝数据时,却报错。给出的报错原因是找不到此元素。具体问题如下图:

    出错的代码是:info=div.find_element(By.XPATH,'.//div[class="row row-2 title"]').text

    我知道内容在a标签里面,但是这里面不仅有span的内容,还有直接的文本内容。我试着在这段代码的class里面加了/a/text()[1]/span[2]/test()[2]/span[3],得到的结果同样是报错。后面我又修改了等待的时间,同样也是报错。、

    大家看看这是哪里出了问题?该怎么解决?



    附件: 您需要 登录 才可以下载或查看,没有帐号?(注-册)加入51Testing
    分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
    收藏收藏
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    4 小时前
  • 签到天数: 669 天

    连续签到: 1 天

    [LV.9]测试副司令

    2#
    发表于 2022-1-26 09:31:51 | 只看该作者
    加个a.text()
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    3 小时前
  • 签到天数: 1522 天

    连续签到: 1 天

    [LV.Master]测试大本营

    3#
    发表于 2022-1-26 10:25:14 | 只看该作者
    淘宝有反爬
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    2024-10-22 14:23
  • 签到天数: 1007 天

    连续签到: 1 天

    [LV.10]测试总司令

    4#
    发表于 2022-1-26 15:20:24 | 只看该作者
    淘宝这种网站一般都会做反爬处理的...
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    5 小时前
  • 签到天数: 2819 天

    连续签到: 1 天

    [LV.Master]测试大本营

    5#
    发表于 2022-1-26 17:21:20 | 只看该作者
    有没有保护机制
    回复

    使用道具 举报

    本版积分规则

    关闭

    站长推荐上一条 /1 下一条

    小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 关于我们

    GMT+8, 2024-11-25 13:19 , Processed in 0.070700 second(s), 23 queries .

    Powered by Discuz! X3.2

    © 2001-2024 Comsenz Inc.

    快速回复 返回顶部 返回列表