求助关于爬虫测试连接数的问题
各位大牛,我是新手,想问个关于测试爬虫的问题爬虫开启任务时有设置最大连接数,每个host允许的最大连接数,每个ip允许的最大连接数,连接应答、空闲、读写超时数,爬虫是linux环境下开发的,想问问这个应该怎么测试呢?
在此,先谢过各位了{:4_101:} 如果只是功能测试,主要是模拟测试环境就可以了,然后找工具进行监控。如果是爬虫的稳定性测试,这需要测试大量的网站。 没看明白,爬虫是什么? 回复 2# oscarli
我已经在linux下使用python -m CGIHTTPServer模拟了一个供爬虫爬取的环境,有哪些监控工具或者命令可以实时监控连接数呢?再请教下,嘿 直接用命令netstat -na netstat -na 来显示所有连接的端口并用数字表示.
netstat 显示协议统计信息和当前 TCP/IP 网络连接。 本帖最后由 msnshow 于 2011-11-20 10:36 编辑
这个主要就是测功能了,好像没啥特殊的 现在还用爬虫么 先谢谢各位,呵呵。另外,加问个问题,如何测试网络爬虫的性能呢? 回复 10# cjj910
如果内网建立很多个小站点让它去爬不现实的话,可以就让它到Internet上去爬啊,然后分析其数量和时间~~ oscarli 发表于 2011-11-9 13:19
如果只是功能测试,主要是模拟测试环境就可以了,然后找工具进行监控。如果是爬虫的稳定性测试,这需要测试 ...
请问一下,有什么工具可以监控呢?
页:
[1]