51Testing软件测试论坛

标题: 爬虫的相关问题 [打印本页]

作者: 小小云 时间: 2015-12-9 14:02
标题: 爬虫的相关问题
领导说要做个爬虫来获取信息，要求给的很笼统，主要就是获取最新及时不定向的数据，并且还是动态的，这个需求我改怎么做？求了解的帮忙解答下，谢谢~

作者: 土土的豆豆 时间: 2015-12-10 09:55
1、你得确定要最终分析的数据/业务信息；
2、然后根据确定的业务需求去检查验证/测试点；
3、通过自己写脚本或工具去探测待跟踪分析的动态数据项，提炼对应的抓取规则/条件；
4、汇总后整理报告，以图表方式展现更佳。

以上，
仅供参考~

作者: jingzizx 时间: 2015-12-10 11:26
顶楼上

作者: zhuruize 时间: 2015-12-10 14:26
我猜让你实现的时候是，第一次抓一个全量的数据，后面都抓增量的数据，这样往会抓的时候串的数据会小一点。

作者: 小小云 时间: 2015-12-10 15:25

zhuruize 发表于 2015-12-10 14:26
我猜让你实现的时候是，第一次抓一个全量的数据，后面都抓增量的数据，这样往会抓的时候串的数据会小一点。

嗯，是你这个意思，现在就是让我来写需求，我有点无从下手，第一次所抓数据关于什么要我自己来定义

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)