51Testing软件测试论坛

 找回密码
 (注-册)加入51Testing

QQ登录

只需一步,快速开始

微信登录,快人一步

手机号码,快捷登录

查看: 4016|回复: 1
打印 上一主题 下一主题

[转贴] 推荐四个网络爬虫抓包神器

[复制链接]
  • TA的每日心情
    无聊
    10 小时前
  • 签到天数: 1052 天

    连续签到: 2 天

    [LV.10]测试总司令

    跳转到指定楼层
    1#
    发表于 2021-5-31 10:28:01 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    目前市面上比较不错的网络爬虫抓包工具有Fiddler、charles、Anyproxy和mitmproxy等。
      有人可能会问,何为网络爬虫?
      首先,网络爬虫它是一种程序,它的样子如同一个大蜘蛛.它将网络上全部的链接和内容进行查索,建立相关的数据库并引入。往往较好的爬虫将会决定搜索引擎的质量。
      Charles

      Charles是一款macOS上的一款抓包分析工具之一。当然他也支持windows和linux。简洁的GUI界面,http、https都是它的基本功能。这款软件是付费软件,当然你可以免费试用。
      Fiddler

      Fiddler是Windows上一款强大的抓包工具。如果你懂C#,你可以通过修改脚本,自己定义规则。当你想抓取特定网站数据时,它可以为你去除很多的干扰。
      mitmproxy

      mitmproxy是支持SSL、基于python的一款命令行交互和跨平台工具。它包括三种工具:mitmproxy、mitmdump、libmproxy。
      anyproxy
      anyproxy是阿里巴巴开源、基于Nodejs实现的一款抓包工具,如果你了解js,那它将是一个不错的选择。
    分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
    收藏收藏
    回复

    使用道具 举报

  • TA的每日心情
    开心
    2021-6-9 14:08
  • 签到天数: 1 天

    连续签到: 1 天

    [LV.1]测试小兵

    2#
    发表于 2021-6-3 17:19:46 | 只看该作者
    Fiddler是一款相当好用的工具
    回复 支持 反对

    使用道具 举报

    本版积分规则

    关闭

    站长推荐上一条 /1 下一条

    小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 关于我们

    GMT+8, 2024-11-27 19:53 , Processed in 0.064961 second(s), 22 queries .

    Powered by Discuz! X3.2

    © 2001-2024 Comsenz Inc.

    快速回复 返回顶部 返回列表