小小猎魔人 发表于 2019-6-27 10:15:15

爬虫测试，，，大佬速来

现在有一个需求，是一个爬虫测试。爬虫从网上采集数据，经过处理存进数据库。如何保证数据的准确性和完整性？比如数据是不是采集全了，采集的数据对不对等等。
各位有经验的大佬指导下，思路，用例怎么写，越详细越好

qqq911 发表于 2019-6-27 11:13:11

不好弄

jingzizx 发表于 2019-6-27 11:20:45

除非自己设计一个

abcsell 发表于 2019-6-27 13:26:57

人工对比

小小猎魔人 发表于 2019-6-27 14:24:37

1.数据量大，初期已经是百万级，人工只能抽查。
2.用一个爬虫去验证另一个爬虫，也走不通。
页: [1]
查看完整版本: 爬虫测试，，，大佬速来