测试积点老人 发表于 2021-4-15 15:19:06

为什么不使用 scrapy，而是从头编写爬虫系统？

题主公司的爬虫是自己搭建的，主要是感觉 scrapy 只是做了比较简单下载部分，并没有解决调度等问题，想问下大家有什么看法？

litingting0214 发表于 2021-4-16 10:57:07

https://www.zhihu.com/question/293589348/answer/782851279参考下

qqq911 发表于 2021-4-16 11:35:38

自己写的话会自由一点

jingzizx 发表于 2021-4-17 17:09:12

减少工作量，使用成熟模块进行
页: [1]
查看完整版本: 为什么不使用 scrapy，而是从头编写爬虫系统？