51Testing软件测试论坛

标题: 求助关于爬虫测试连接数的问题 [打印本页]

作者: cjj910 时间: 2011-11-8 19:25
标题: 求助关于爬虫测试连接数的问题
各位大牛，我是新手，想问个关于测试爬虫的问题
爬虫开启任务时有设置最大连接数，每个host允许的最大连接数，每个ip允许的最大连接数，连接应答、空闲、读写超时数，爬虫是linux环境下开发的，想问问这个应该怎么测试呢？
在此，先谢过各位了

作者: oscarli 时间: 2011-11-9 13:19
如果只是功能测试，主要是模拟测试环境就可以了，然后找工具进行监控。如果是爬虫的稳定性测试，这需要测试大量的网站。

作者: sherryshi 时间: 2011-11-9 15:17
没看明白，爬虫是什么？

作者: cjj910 时间: 2011-11-9 17:26
回复 2# oscarli
我已经在linux下使用python -m CGIHTTPServer模拟了一个供爬虫爬取的环境，有哪些监控工具或者命令可以实时监控连接数呢？再请教下，嘿

作者: msnshow 时间: 2011-11-9 20:57
直接用命令netstat -na

作者: piaolingxue423 时间: 2011-11-10 09:05
netstat -na 来显示所有连接的端口并用数字表示.

netstat 显示协议统计信息和当前 TCP/IP 网络连接。

作者: msnshow 时间: 2011-11-19 21:19
本帖最后由 msnshow 于 2011-11-20 10:36 编辑

这个主要就是测功能了，好像没啥特殊的

作者: 愚人 时间: 2011-11-20 01:09
现在还用爬虫么

作者: cjj910 时间: 2011-11-21 23:01
先谢谢各位，呵呵。另外，加问个问题，如何测试网络爬虫的性能呢？

作者: smile665 时间: 2011-12-3 22:26
回复 10# cjj910

如果内网建立很多个小站点让它去爬不现实的话，可以就让它到Internet上去爬啊，然后分析其数量和时间~~

作者: 上邪 时间: 2015-9-15 10:31

oscarli 发表于 2011-11-9 13:19
如果只是功能测试，主要是模拟测试环境就可以了，然后找工具进行监控。如果是爬虫的稳定性测试，这需要测试 ...

请问一下，有什么工具可以监控呢？

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)