51Testing软件测试论坛

 找回密码
 (注-册)加入51Testing

QQ登录

只需一步,快速开始

微信登录,快人一步

手机号码,快捷登录

查看: 4992|回复: 10
打印 上一主题 下一主题

求助关于爬虫测试连接数的问题

[复制链接]

该用户从未签到

跳转到指定楼层
1#
发表于 2011-11-8 19:25:51 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
各位大牛,我是新手,想问个关于测试爬虫的问题
爬虫开启任务时有设置最大连接数,每个host允许的最大连接数,每个ip允许的最大连接数,连接应答、空闲、读写超时数,爬虫是linux环境下开发的,想问问这个应该怎么测试呢?
在此,先谢过各位了
分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
收藏收藏
回复

使用道具 举报

该用户从未签到

2#
发表于 2011-11-9 13:19:29 | 只看该作者
如果只是功能测试,主要是模拟测试环境就可以了,然后找工具进行监控。如果是爬虫的稳定性测试,这需要测试大量的网站。
回复 支持 反对

使用道具 举报

该用户从未签到

3#
发表于 2011-11-9 15:17:29 | 只看该作者
没看明白,爬虫是什么?
回复 支持 反对

使用道具 举报

该用户从未签到

4#
 楼主| 发表于 2011-11-9 17:26:20 | 只看该作者
回复 2# oscarli
我已经在linux下使用python -m CGIHTTPServer模拟了一个供爬虫爬取的环境,有哪些监控工具或者命令可以实时监控连接数呢?再请教下,嘿
回复 支持 反对

使用道具 举报

  • TA的每日心情
    奋斗
    2022-5-8 19:23
  • 签到天数: 137 天

    连续签到: 1 天

    [LV.7]测试师长

    5#
    发表于 2011-11-9 20:57:23 | 只看该作者
    直接用命令netstat -na
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    奋斗
    2017-4-10 11:26
  • 签到天数: 4 天

    连续签到: 1 天

    [LV.2]测试排长

    6#
    发表于 2011-11-10 09:05:20 | 只看该作者
    netstat -na 来显示所有连接的端口并用数字表示.

    netstat 显示协议统计信息和当前 TCP/IP 网络连接。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    奋斗
    2022-5-8 19:23
  • 签到天数: 137 天

    连续签到: 1 天

    [LV.7]测试师长

    7#
    发表于 2011-11-19 21:19:15 | 只看该作者
    本帖最后由 msnshow 于 2011-11-20 10:36 编辑

    这个主要就是测功能了,好像没啥特殊的
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    8#
    发表于 2011-11-20 01:09:03 | 只看该作者
    现在还用爬虫么
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    9#
     楼主| 发表于 2011-11-21 23:01:39 | 只看该作者
    先谢谢各位,呵呵。另外,加问个问题,如何测试网络爬虫的性能呢?
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    10#
    发表于 2011-12-3 22:26:59 | 只看该作者
    回复 10# cjj910


        如果内网建立很多个小站点让它去爬不现实的话,可以就让它到Internet上去爬啊,然后分析其数量和时间~~
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    11#
    发表于 2015-9-15 10:31:51 | 只看该作者
    oscarli 发表于 2011-11-9 13:19
    如果只是功能测试,主要是模拟测试环境就可以了,然后找工具进行监控。如果是爬虫的稳定性测试,这需要测试 ...

    请问一下,有什么工具可以监控呢?
    回复 支持 反对

    使用道具 举报

    本版积分规则

    关闭

    站长推荐上一条 /1 下一条

    小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 关于我们

    GMT+8, 2024-11-14 14:14 , Processed in 0.066554 second(s), 25 queries .

    Powered by Discuz! X3.2

    © 2001-2024 Comsenz Inc.

    快速回复 返回顶部 返回列表