请问有大神写过爬虫方面的测试用例吗
我们是一个外贸电子商务网站,现在正在做一个比价系统,需要用爬虫去别的几家外贸网站上抓取他们的售价和产品信息,以和我们公司网站上卖的东西对比 好进行一些价格方面的调整,现在主要是抓5家网站上的,英文描述,价格,网址等3个信息,然后公司叫我写测试用例,我不知道从何下手,跪求大神解惑我知道测试主要就是去看抓取的信息是否匹配,是否准确,是否是需要的信息,然后抓取的信息会保存在一个表里面,然后后期测试的话我主要就是去数据库里面查看比对数据,感觉这样写测试用例写不了几条 :Q没人啊 后期测试:数据库里查看对比数据?没页面展示么? 折剣沉沙 发表于 2016-4-18 09:51
后期测试:数据库里查看对比数据?没页面展示么?
没有的,只能去数据库里面人工比对数据,没有页面展示 没用爬虫的,不知道具体情况。不过应该有包括这些吧:
1.网址的添加,可自定义爬哪些网址,
2.抓取信息的准确(字段和字段值)
3.商品的归类(过滤),目的把类似或者一样的商品整理到一起,可以直观对比。
先想到这些 先与开发沟通一下业务流程,内部操作,界面实现,然后根据这个写
感觉是需要进行一个页面的单独测试 (补)爬虫: 抓取,存储,分析,展示。按这四块再详细进去写。做功能的话可以按树形结构这样展开写,想到哪些写哪些。 如果还要做爬取效率,稳定性,是否有重复数据等另说。 我做过一些爬虫数据的准确性测试,列几点希望对楼主有帮助。。。
1、是否匹配正确。
- 根据你们的匹配规则去判断
2、爬取的数据是否准确,这里主要包括:
- 不该空的字段值是否为空;
- url是否为空,是否有重复,格式是否准确;
- 内容太长没在页面上显示完全的话是否能爬取全;
- 价格的格式是否正确(判断价格的取值范围);
3、每次更新或增量爬取的数据量与以往的对比,因为会有网站改版啊程序出错啊什么的
:lol谢谢楼上的各位大神,小弟的用例已经完成了 楼主的测试用例,可以发一份吗?谢谢楼主
920219832@qq.com
页:
[1]