51Testing软件测试论坛

标题: requests 和 scrapy 在不同的爬虫应用中，各自有什么优势？ [打印本页]

作者: 测试积点老人 时间: 2021-5-21 13:34
标题: requests 和 scrapy 在不同的爬虫应用中，各自有什么优势？
requests 是一个http框架，可以用来做爬虫
scrapy 是一个专业的爬虫框架

我是个python新手，研究怎么爬人家网站，朋友推荐我学requests，果然看了下文档，几分钟就能开始爬了

但是我看scrapy 这个爬虫框架，被很多人喜欢，我想这个东西一定有他的独特之处，

我目前使用requests爬的时候，先用其他方法得到cookies，然后把cookies共享给requests，然后爬网站的时候，用起来算很得心应手，但是爬过来的数据，我要自己写逻辑代码，进行解析，进行编码处理，进行入库
或许就是因为它只是一个http库吧！

然后我在思考，scrapy是一个框架，是不是在爬虫应用中，会比requests更好用呢

我要爬的网站有40多个，如果我改用scrapy框架，
能给我带来多大的好处呢
分别会从哪些方面给我带来好处呢

请知友帮忙解答疑惑

作者: qqq911 时间: 2021-5-24 10:32
这个比较看个人的习惯了

作者: 郭小贱 时间: 2021-5-24 11:30
scrapy是封装起来的框架，他包含了下载器，解析器，日志及异常处理，基于多线程， twisted的方式处理，对于固定单个网站的爬取开发，有优势，但是对于多网站爬取 100个网站，并发及分布式处理方面，不够灵活，不便调整与括展。
requests是一个HTTP库，它只是用来，进行请求，对于HTTP请求，他是一个强大的库，下载，解析全部自己处理，灵活性更高，高并发与分布式部署也非常灵活，对于功能可以更好实现。

作者: bellas 时间: 2021-5-24 13:37
来学习

作者: jingzizx 时间: 2021-5-24 15:34
scrapy内部做了框架封装

作者: litingting0214 时间: 2021-5-24 16:25
对哪个比较熟悉就用哪个

作者: Miss_love 时间: 2021-5-31 15:57
看看

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)