51Testing软件测试论坛

 找回密码
 (注-册)加入51Testing

QQ登录

只需一步,快速开始

微信登录,快人一步

手机号码,快捷登录

查看: 1979|回复: 6
打印 上一主题 下一主题

在pycham中利用爬虫获取数据,数据前半部分丢失问题

[复制链接]
  • TA的每日心情
    擦汗
    3 天前
  • 签到天数: 527 天

    连续签到: 4 天

    [LV.9]测试副司令

    跳转到指定楼层
    #
    发表于 2020-10-13 10:51:02 | 只看该作者 回帖奖励 |正序浏览 |阅读模式
    1测试积点
    本人小白,准备爬取豆瓣top250电影榜单的时候,发现request回来的数据中排名1~8的电影数据没有,不知是设置问题还是代码问题,恳请大佬指正,代码及结果如图



    附件: 您需要 登录 才可以下载或查看,没有帐号?(注-册)加入51Testing
    分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
    收藏收藏
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    3 天前
  • 签到天数: 2812 天

    连续签到: 5 天

    [LV.Master]测试大本营

    6#
    发表于 2020-10-14 13:17:57 | 只看该作者
    打印内容
    回复

    使用道具 举报

  • TA的每日心情
    慵懒
    2022-7-23 11:23
  • 签到天数: 316 天

    连续签到: 1 天

    [LV.8]测试军长

    5#
    发表于 2020-10-14 10:53:12 | 只看该作者

    爬取的内容太多了,终端显示内容有限
    回复

    使用道具 举报

  • TA的每日心情
    擦汗
    2024-9-30 15:02
  • 签到天数: 751 天

    连续签到: 2 天

    [LV.10]测试总司令

    4#
    发表于 2020-10-14 10:44:17 | 只看该作者
    减少数据量
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    3 天前
  • 签到天数: 1516 天

    连续签到: 5 天

    [LV.Master]测试大本营

    3#
    发表于 2020-10-14 10:26:25 | 只看该作者
    检查下你爬回来的内容是什么
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    2024-10-22 14:23
  • 签到天数: 1007 天

    连续签到: 1 天

    [LV.10]测试总司令

    2#
    发表于 2020-10-14 10:23:08 | 只看该作者
    爬取的内容太多了,终端显示内容有限,可以爬取自己需要的数据,减少没必要的数据量。
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    3 天前
  • 签到天数: 1801 天

    连续签到: 5 天

    [LV.Master]测试大本营

    1#
    发表于 2020-10-14 09:19:14 | 只看该作者
    使用正则表达式,只匹配出需要的内容,不要把多余的内容同时输出
    回复

    使用道具 举报

    本版积分规则

    关闭

    站长推荐上一条 /1 下一条

    小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 关于我们

    GMT+8, 2024-11-18 00:29 , Processed in 0.067757 second(s), 23 queries .

    Powered by Discuz! X3.2

    © 2001-2024 Comsenz Inc.

    快速回复 返回顶部 返回列表