51Testing软件测试论坛

标题: 为什么不使用 scrapy，而是从头编写爬虫系统？ [打印本页]

作者: 测试积点老人 时间: 2021-4-15 15:19
标题: 为什么不使用 scrapy，而是从头编写爬虫系统？
题主公司的爬虫是自己搭建的，主要是感觉 scrapy 只是做了比较简单下载部分，并没有解决调度等问题，想问下大家有什么看法？

作者: litingting0214 时间: 2021-4-16 10:57
https://www.zhihu.com/question/293589348/answer/782851279 参考下

作者: qqq911 时间: 2021-4-16 11:35
自己写的话会自由一点

作者: jingzizx 时间: 2021-4-17 17:09
减少工作量，使用成熟模块进行

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)