求助关于爬虫测试连接数的问题

cjj910 · 发表于 2011-11-8 19:25:51

各位大牛，我是新手，想问个关于测试爬虫的问题
爬虫开启任务时有设置最大连接数，每个host允许的最大连接数，每个ip允许的最大连接数，连接应答、空闲、读写超时数，爬虫是linux环境下开发的，想问问这个应该怎么测试呢？
在此，先谢过各位了

oscarli · 发表于 2011-11-9 13:19:29

如果只是功能测试，主要是模拟测试环境就可以了，然后找工具进行监控。如果是爬虫的稳定性测试，这需要测试大量的网站。

sherryshi · 发表于 2011-11-9 15:17:29

没看明白，爬虫是什么？

cjj910 · 发表于 2011-11-9 17:26:20

回复 2# oscarli
我已经在linux下使用python -m CGIHTTPServer模拟了一个供爬虫爬取的环境，有哪些监控工具或者命令可以实时监控连接数呢？再请教下，嘿

msnshow · 发表于 2011-11-9 20:57:23

直接用命令netstat -na

piaolingxue423 · 发表于 2011-11-10 09:05:20

netstat -na 来显示所有连接的端口并用数字表示.

netstat 显示协议统计信息和当前 TCP/IP 网络连接。

msnshow · 发表于 2011-11-19 21:19:15

本帖最后由 msnshow 于 2011-11-20 10:36 编辑

这个主要就是测功能了，好像没啥特殊的

愚人 · 发表于 2011-11-20 01:09:03

现在还用爬虫么

cjj910 · 发表于 2011-11-21 23:01:39

先谢谢各位，呵呵。另外，加问个问题，如何测试网络爬虫的性能呢？

smile665 · 发表于 2011-12-3 22:26:59

回复 10# cjj910

如果内网建立很多个小站点让它去爬不现实的话，可以就让它到Internet上去爬啊，然后分析其数量和时间~~

上邪 · 发表于 2015-9-15 10:31:51

oscarli 发表于 2011-11-9 13:19
如果只是功能测试，主要是模拟测试环境就可以了，然后找工具进行监控。如果是爬虫的稳定性测试，这需要测试 ...

请问一下，有什么工具可以监控呢？

		自动登录	找回密码
密码			(注-册)加入51Testing

站长推荐 /1