请问有大神写过爬虫方面的测试用例吗

wycaoxin

我们是一个外贸电子商务网站，现在正在做一个比价系统，需要用爬虫去别的几家外贸网站上抓取他们的售价和产品信息，以和我们公司网站上卖的东西对比 好进行一些价格方面的调整，现在主要是抓5家网站上的，英文描述，价格，网址等3个信息，然后公司叫我写测试用例，我不知道从何下手，跪求大神解惑
我知道测试主要就是去看抓取的信息是否匹配，是否准确，是否是需要的信息，然后抓取的信息会保存在一个表里面，然后后期测试的话我主要就是去数据库里面查看比对数据，感觉这样写测试用例写不了几条

wycaoxin

没人啊

折剣沉沙

后期测试：数据库里查看对比数据？没页面展示么？

wycaoxin

折剣沉沙 发表于 2016-4-18 09:51
后期测试：数据库里查看对比数据？没页面展示么？

没有的，只能去数据库里面人工比对数据，没有页面展示

折剣沉沙

没用爬虫的，不知道具体情况。不过应该有包括这些吧：
1.网址的添加，可自定义爬哪些网址，
2.抓取信息的准确（字段和字段值）
3.商品的归类（过滤），目的把类似或者一样的商品整理到一起，可以直观对比。
先想到这些

jingzizx

先与开发沟通一下业务流程,内部操作,界面实现,然后根据这个写
感觉是需要进行一个页面的单独测试

折剣沉沙

（补）爬虫： 抓取，存储，分析，展示。按这四块再详细进去写。做功能的话可以按树形结构这样展开写，想到哪些写哪些。 如果还要做爬取效率，稳定性，是否有重复数据等另说。

阿列路亚列路亚

我做过一些爬虫数据的准确性测试，列几点希望对楼主有帮助。。。

1、是否匹配正确。
  - 根据你们的匹配规则去判断

2、爬取的数据是否准确，这里主要包括：
  - 不该空的字段值是否为空；
  - url是否为空，是否有重复，格式是否准确；
  - 内容太长没在页面上显示完全的话是否能爬取全；
  - 价格的格式是否正确（判断价格的取值范围）；

3、每次更新或增量爬取的数据量与以往的对比，因为会有网站改版啊程序出错啊什么的

  

wycaoxin

谢谢楼上的各位大神，小弟的用例已经完成了

小小猎魔人

楼主的测试用例，可以发一份吗？谢谢楼主
920219832@qq.com