想要用 python 做爬虫，是使用 scrapy框架还是用 requests, bs4 等库？

测试积点老人 发表于 2021-3-17 11:59:28

想要用python（python3）实现一个爬虫，来完成自己的一些需求。
参考网上的资料，发现对自己而言有两种待选的方案：
1. 使用scrapy框架
都说该框架功能强大，实现简单。但是不兼容python3,
2. 使用requests 和 bs4等库来自己实现
相比方案一，可能要自己多写好多代码，以及性能可能不如开源的框架。

由于自己学习的python3（好多人说python3 才是趋势，所以没有学习python2），如果采用方案一，会有scrapy对python3 的支持不够好（虽说现在scrapy官网上说对python3的支持正在进行中，但不相等），希望熟悉的人回答一下 scrapy对python3的支持到底如何？；如果采用方案二，那么想问，如果我想要利用 requests， bs4等库实现一个简单版的 scrapy，困难有多大，需要学习那些东西？

qqq911 发表于 2021-3-18 11:02:00