51Testing软件测试论坛

 找回密码
 (注-册)加入51Testing

QQ登录

只需一步,快速开始

微信登录,快人一步

手机号码,快捷登录

查看: 4108|回复: 2
打印 上一主题 下一主题

想要用 python 做爬虫, 是使用 scrapy框架还是用 requests, bs4 等库?

[复制链接]
  • TA的每日心情
    无聊
    10 小时前
  • 签到天数: 528 天

    连续签到: 1 天

    [LV.9]测试副司令

    跳转到指定楼层
    1#
    发表于 2021-3-17 11:59:28 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    1测试积点
    想要用python(python3)实现一个爬虫,来完成自己的一些需求。
    参考网上的资料,发现对自己而言有两种待选的方案:
    1. 使用scrapy框架
    都说该框架功能强大,实现简单。但是不兼容python3,
    2. 使用requests 和 bs4等库来自己实现
    相比方案一,可能要自己多写好多代码,以及性能可能不如开源的框架。

    由于自己学习的python3(好多人说python3 才是趋势,所以没有学习python2),如果采用方案一,会有scrapy对python3 的支持不够好(虽说现在scrapy官网上说对python3的支持正在进行中,但不相等),希望熟悉的人回答一下 scrapy对python3的支持到底如何?; 如果采用方案二,那么想问 ,如果我想要利用 requests, bs4等库 实现一个简单版的 scrapy, 困难有多大,需要学习那些东西?

    分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
    收藏收藏
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    9 小时前
  • 签到天数: 1517 天

    连续签到: 1 天

    [LV.Master]测试大本营

    2#
    发表于 2021-3-18 11:02:00 | 只看该作者
    scrapy相对简单易上手
    回复

    使用道具 举报

  • TA的每日心情
    奋斗
    11 小时前
  • 签到天数: 2813 天

    连续签到: 1 天

    [LV.Master]测试大本营

    3#
    发表于 2021-3-18 16:43:07 | 只看该作者
    干就行
    回复

    使用道具 举报

    本版积分规则

    关闭

    站长推荐上一条 /1 下一条

    小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 关于我们

    GMT+8, 2024-11-18 19:50 , Processed in 0.069135 second(s), 22 queries .

    Powered by Discuz! X3.2

    © 2001-2024 Comsenz Inc.

    快速回复 返回顶部 返回列表