爬虫的相关问题

小小云 发表于 2015-12-9 14:02:18

领导说要做个爬虫来获取信息，要求给的很笼统，主要就是获取最新及时不定向的数据，并且还是动态的，这个需求我改怎么做？求了解的帮忙解答下，谢谢~

土土的豆豆 发表于 2015-12-10 09:55:03

1、你得确定要最终分析的数据/业务信息；
2、然后根据确定的业务需求去检查验证/测试点；
3、通过自己写脚本或工具去探测待跟踪分析的动态数据项，提炼对应的抓取规则/条件；
4、汇总后整理报告，以图表方式展现更佳。

以上，
仅供参考~

jingzizx 发表于 2015-12-10 11:26:42

顶楼上

zhuruize 发表于 2015-12-10 14:26:25

我猜让你实现的时候是，第一次抓一个全量的数据，后面都抓增量的数据，这样往会抓的时候串的数据会小一点。

小小云 发表于 2015-12-10 15:25:45

zhuruize 发表于 2015-12-10 14:26
我猜让你实现的时候是，第一次抓一个全量的数据，后面都抓增量的数据，这样往会抓的时候串的数据会小一点。

嗯，是你这个意思，现在就是让我来写需求，我有点无从下手，第一次所抓数据关于什么要我自己来定义

页: [1]

51Testing软件测试论坛 's Archiver