爬虫测试，，，大佬速来

小小猎魔人 · 发表于 2019-6-27 10:15:15

现在有一个需求，是一个爬虫测试。爬虫从网上采集数据，经过处理存进数据库。如何保证数据的准确性和完整性？比如数据是不是采集全了，采集的数据对不对等等。
各位有经验的大佬指导下，思路，用例怎么写，越详细越好

qqq911 · 发表于 2019-6-27 11:13:11

不好弄

jingzizx · 发表于 2019-6-27 11:20:45

除非自己设计一个

abcsell · 发表于 2019-6-27 13:26:57

人工对比

小小猎魔人 · 发表于 2019-6-27 14:24:37

1.数据量大，初期已经是百万级，人工只能抽查。
2.用一个爬虫去验证另一个爬虫，也走不通。

		自动登录	找回密码
密码			(注-册)加入51Testing

站长推荐 /1