51Testing软件测试论坛

标题: 推荐四个网络爬虫抓包神器 [打印本页]

作者: lsekfe 时间: 2021-5-31 10:28
标题: 推荐四个网络爬虫抓包神器
目前市面上比较不错的网络爬虫抓包工具有Fiddler、charles、Anyproxy和mitmproxy等。
　　有人可能会问，何为网络爬虫？
　　首先，网络爬虫它是一种程序，它的样子如同一个大蜘蛛.它将网络上全部的链接和内容进行查索，建立相关的数据库并引入。往往较好的爬虫将会决定搜索引擎的质量。
　　Charles

　　Charles是一款macOS上的一款抓包分析工具之一。当然他也支持windows和linux。简洁的GUI界面，http、https都是它的基本功能。这款软件是付费软件，当然你可以免费试用。
　　Fiddler

　　Fiddler是Windows上一款强大的抓包工具。如果你懂C#，你可以通过修改脚本，自己定义规则。当你想抓取特定网站数据时，它可以为你去除很多的干扰。
　　mitmproxy

　　mitmproxy是支持SSL、基于python的一款命令行交互和跨平台工具。它包括三种工具：mitmproxy、mitmdump、libmproxy。
　　anyproxy
　　anyproxy是阿里巴巴开源、基于Nodejs实现的一款抓包工具，如果你了解js，那它将是一个不错的选择。

作者: 千里 时间: 2021-6-3 17:19
Fiddler是一款相当好用的工具

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)