51Testing软件测试论坛

标题: 想要用 python 做爬虫，是使用 scrapy框架还是用 requests, bs4 等库？ [打印本页]

作者: 测试积点老人 时间: 2021-3-17 11:59
标题: 想要用 python 做爬虫，是使用 scrapy框架还是用 requests, bs4 等库？
想要用python（python3）实现一个爬虫，来完成自己的一些需求。
参考网上的资料，发现对自己而言有两种待选的方案：
1. 使用scrapy框架
都说该框架功能强大，实现简单。但是不兼容python3,
2. 使用requests 和 bs4等库来自己实现
相比方案一，可能要自己多写好多代码，以及性能可能不如开源的框架。

由于自己学习的python3（好多人说python3 才是趋势，所以没有学习python2），如果采用方案一，会有scrapy对python3 的支持不够好（虽说现在scrapy官网上说对python3的支持正在进行中，但不相等），希望熟悉的人回答一下 scrapy对python3的支持到底如何？；如果采用方案二，那么想问，如果我想要利用 requests， bs4等库实现一个简单版的 scrapy，困难有多大，需要学习那些东西？

作者: qqq911 时间: 2021-3-18 11:02
scrapy相对简单易上手

作者: jingzizx 时间: 2021-3-18 16:43
干就行

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)