51Testing软件测试论坛

标题: 接口测试之——fiddler抓包、过滤、断点调试 [打印本页]

作者: lsekfe 时间: 2020-9-9 10:49
标题: 接口测试之——fiddler抓包、过滤、断点调试
1.Fiddler的基本介绍Fiddler的官方网站:www.fiddler2.com
　　Fiddler官方网站提供了大量的帮助文档和视频教程，这是学习Fiddler的最好资料。
　　Fiddler是最强大最好用的Web调试工具之一，它能记录所有客户端和服务器的http和https请求，允许你监视，设置断点，甚至修改输入输出数据，Fiddler包含了一个强大的基于事件脚本的子系统，并且能使用.net语言进行扩展。它的原理是以web代理服务器的形式进行工作的，使用的代理地址是：127.0.0.1，端口默认为8888，我们也可以通过设置进行修改。
代理就是在客户端和服务器之间设置一道关卡，客户端先将请求数据发送出去后，代理服务器会将数据包进行拦截，代理服务器再冒充客户端发送数据到服务器；同理，服务器将响应数据返回，代理服务器也会将数据拦截，再返回给客户端。
Fiddler可以抓取支持http代理的任意程序的数据包，如果要抓取https会话，要先安装证书。
HTTP协议
要分析Fiddler抓取的数据包，我们首先要熟悉HTTP协议。HTTP即超文本传输协议，是一个基于请求与响应模式的、无状态的、应用层的协议，绝大多数的Web开发，都是构建在HTTP协议之上的Web应用。
HTTP的工作过程：当我们请求一个超链接时，HTTP就开始工作了，客户端先发送一个请求到服务器，请求内容包括：协议版本号、请求地址、请求方式、请求头和请求参数；服务器收到请求后做相应的处理，并将响应数据返回到客户端，响应内容包括：协议版本号、状态码和响应数据。前端根据响应数据做相应的处理，就是最终我们看到的内容。这些过程是HTTP自动完成的，我们只是输入或点击请求地址，然后查看前端给我们展示的内容。更多关于HTTP协议的介绍请参考：HTTP协议
请求方式常用的有：GET、PUT、POST、DELETE。
HTTP状态码主要分为5类：以1开头的代表请求已被接受，需要继续处理；以2开头的代表请求已成功被服务器接收、理解、并接受；以3开头的代表需要客户端采取进一步的操作才能完成请求；以4开头的代表了客户端看起来可能发生了错误，妨碍了服务器的处理；以5开头的代表了服务器在处理请求的过程中有错误或者异常状态发生，也有可能是服务器意识到以当前的软硬件资源无法完成对请求的处理。
常见的主要有：200：服务器成功处理了请求；404：未找到资源；500：内部服务器错误；503：服务器目前无法为请求提供服务；302：请求的URL已临时转移；304：客户端的缓存资源是最新的，要客户端使用缓存。
每个状态码的详细介绍请参考：HTTP状态码
Fiddler的使用
Fiddler是一个很好用的抓包工具，可以将网络传输发送与接收的数据包进行截获、重发、编辑等操作。也可以用来检测流量。Fiddler 是以代理web服务器的形式工作的，它使用代理地址:127.0.0.1，端口:8888。当Fiddler退出的时候它会自动注销，这样就不会影响别的程序。不过如果Fiddler非正常退出，这时候因为Fiddler没有自动注销，会造成网页无法访问。解决的办法是重新启动下Fiddler。
Fiddler安装后，设置的端口默认为8888，当Fiddler启动后，默认将IE的代理设为了127.0.0.1:8888，而其他如火狐浏览器需要手动设置代理后才可以抓包。设置内容如图：
[attach]129651[/attach]

1）要使用Fiddler进行抓包，首先需要确保Capture Traffic是开启的（安装后是默认开启的），勾选File->Capture Traffic，也可以直接点击Fiddler界面左下角的图标开启和关闭抓包。

[attach]129652[/attach]
2）所以基本上不需要做什么配置，安装后就可以进行抓包了。那么我们怎么分析抓到的这些数据包呢？如图所示的区域为数据包列表，要分析这些数据包，首先要了解各字段的含义。
[attach]129653[/attach]
#：顺序号，按照抓包的顺序从1递增
Result：HTTP状态码
Protocol：请求使用的协议，如HTTP/HTTPS/FTP等
HOST：请求地址的主机名或域名
URL：请求资源的位置
Body：请求大小
Caching：请求的缓存过期时间或者缓存控制值
Content-Type：请求响应的类型
Process：发送此请求的进程ID
Comments：备注
Custom：自定义值
2）. Statistics 请求的性能数据分析
好了。左边看完了，现在可以看右边了
随意点击一个请求，就可以看到Statistics关于HTTP请求的性能以及数据分析了（不可能安装好了Fiddler一条请求都没有…）：

[attach]129654[/attach]
3）. Inspectors 查看数据内容
Inspectors是用于查看会话的内容，上半部分是请求的内容，下半部分是响应的内容：
每个Fiddler抓取到的数据包都会在该列表中展示，点击具体的一条数据包可以在右侧菜单点击Insepector查看详细内容。主要分为请求（即客户端发出的数据）和响应（服务器返回的数据）两部分。

[attach]129655[/attach]
4）HTTP Request Header：以百度为例，查看请求百度主页这条数据包的请求数据，从上面的Headers中可以看到如下内容：
[attach]129657[/attach]
请求方式：GET
协议： HTTP/1.1
Client 头域：
Accept: text/html, application/xhtml+xml, image/jxr, */* ---------浏览器端可以接受的媒体类型
Accept-Encoding: gzip, deflate---------压缩方法
Accept-Language: zh-CN ---------语言类型
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.79 Safari/537.36 Edge/14.14393 ---------客户端使用的操作系统和浏览器的名称和版本
COOKIE头域：将cookie值发送给服务器
Transport 头域：
Connection：当网页打开完成后，客户端和服务器之间用于传输HTTP数据的TCP连接是否关闭。keep-alive表示不会关闭，客户端再次访问这个服务器上的网页，会继续使用这一条已经建立的连接；close表示关闭，客户端再次访问这个服务器上的网页，需要重新建立连接。
HOST：主机名或域名，若没有指定端口，表示使用默认端口80.
　　5）HTTP Response Header：继续以百度为例，如图所示：
[attach]129658[/attach]
协议：HTTP/1.1
状态码：200
Cache头域：
Cache-Control: private ---------此响应消息不能被共享缓存处理，对于其他用户的请求无效
Date: Sat, 05 Aug 2017 04:37:43 GMT ---------生成消息的具体时间和日期
Expires: Sat, 05 Aug 2017 04:37:42 GMT ---------浏览器会在指定过期时间内使用本地缓存
Cookie/Login 头域：
Set-Cookie: BDSVRTM=264; path=/ ---------把cookie发送到客户端
Set-Cookie: BD_HOME=1; path=/
Set-Cookie: H_PS_PSSID=1425_21097_22157; path=/; domain=.baidu.com
Entity头域
Content-Length: 202740 ---------正文长度
Content-Type: text/html;charset=utf-8 ---------告知客户端服务器本身响应的对象的类型和字符集
Miscellaneous 头域：
Bdpagetype: 2
Bdqid: 0x99791efd00036253
Bduserid: 2577220064
Server: BWS/1.1 ---------指明HTTP服务器的软件信息
X-Ua-Compatible: IE=Edge,chrome=1
Security头域：
Strict-Transport-Security: max-age=172800 ---------基于安全考虑而需要发送的参数，关于这个参数的解释，请参考：http://www.freebuf.com/articles/web/66827.html
Transport头域：
Connection: Keep-Alive
TextView：显示请求或响应的数据。
WebForms：请求部分以表单形式显示所有的请求参数和参数值；响应部分与TextView内容是一样的。
Auth：显示认证信息，如Authorization
Cookies：显示所有cookies
Raw：显示Headers和Body数据
JSON：若请求或响应数据是json格式，以json形式显示请求或响应内容
XML：若请求或响应数据是xml格式，以xml形式显示请求或响应内容
上面是以百度主页为例，百度主页采用的是GET请求，在TextView中没有请求body，我们再以无忧行网站登录接口为例，它是一个POST请求，除了请求头外，在TextView中多了请求数据。这也是GET请求和POST请求的一个区别。GET请求是将请求参数放在url中，而POST请求一般是将请求参数放在请求body中。
[attach]129659[/attach]
[attach]129660[/attach]
2. Fiddler 设置解密HTTPS的网络数据Fiddler可以通过伪造CA证书来欺骗浏览器和服务器。Fiddler是个很会装逼的好东西，大概原理就是在浏览器面前Fiddler伪装成一个HTTPS服务器，而在真正的HTTPS服务器面前Fiddler又装成浏览器，从而实现解密HTTPS数据包的目的。
解密HTTPS需要手动开启，依次点击：
1. Tools –> Fiddler Options –> HTTPS

[attach]129661[/attach]
2. 勾选Decrypt HTTPS Traffic
[attach]129662[/attach]
3. 点击OK
[attach]129663[/attach]
选择是，进行安装证书到信任的根证书颁发机构
3. Fiddler 抓取Iphone / Android数据包想要Fiddler抓取移动端设备的数据包，其实很简单，先来说说移动设备怎么去访问网络，看了下面这张图，就明白了。

[attach]129664[/attach]
可以看得出，移动端的数据包，都是要走wifi出去，所以我们可以把自己的电脑开启热点，将手机连上电脑，Fiddler开启代理后，让这些数据通过Fiddler，Fiddler就可以抓到这些包，然后发给路由器（如图）：
[attach]129665[/attach]

1. 手机和电脑连接同一个网络（保持手机与电脑在同一个局域网）

2. 打开Fidder，点击菜单栏中的 [Tools] –> [Fiddler Options]

[attach]129666[/attach]

3. 点击 [Connections] ，设置代理端口是8888，勾选 Allow remote computers to connect，点击OK

[attach]129667[/attach]

4. 这时在 Fiddler 可以看到自己本机无线网卡的IP了（要是没有的话，重启Fiddler，或者可以在cmd中ipconfig找到自己的网卡IP）
[attach]129668[/attach]
[attach]129669[/attach]
5. 在手机端连接PC的wifi，并且设置代理IP与端口（代理IP就是上图的IP，端口是Fiddler的代理端口8888）
[attach]129671[/attach]
6. 访问网页输入代理IP和端口，下载Fiddler的证书，点击下图FiddlerRoot certificate
[attach]129672[/attach]
【注意】：如果打开浏览器碰到类似下面的报错，请打开Fiddler的证书解密模式（Fiddler 设置解密HTTPS的网络数据）

No root certificate was found. Have you enabled HTTPS traffic decryptioninFiddler yet?

复制代码

[attach]129673[/attach]
[attach]129674[/attach]
7. 安装完了证书，可以用手机访问应用，就可以看到截取到的数据包了。（下图选中是布卡漫画的数据包，下面还有QQ邮箱的）
[attach]129675[/attach]
4. Fiddler 过滤功能
[attach]129676[/attach]
下面介绍下这几个过滤的点。
1.Use Filters :是否使用过滤，只有在选择了这个选项以后才能修改下边的过滤条件，下边的过滤条件可以相互独立，也可以相互组合。
2.Actions  ：字面意思是动作的意思，也就是我们要做什么操作，里边包含有几个选项：

[attach]129677[/attach]
Run Filterset now :马上执行过滤
Load Filterset：加载本地过滤设置文件
Save Filterset ：保存过滤条件到文件
3.Hosts：
通过主机名来进行过滤。
No  Zone  Filter :不通过空间进行过滤，这个是分内网跟外网的
show  only  Intranet  Hosts: 内网
show  only  internet Hosts：外网
No  Host  Filter :不通过主机名进行过滤
Hide the following Hosts:隐藏下边输入的主机名的会话
show only  the following Hosts:显示下边输入的主机名的会话
flag  the following Hosts:标志下边输入的要过来的主机名的会话；

[attach]129678[/attach]

4.Client Process

根据客户端进程来进行过滤，选中 show only traffic from ,然后就可以选择要过来哪个进程的会话

[attach]129679[/attach]
5、Request Headers：
根据request header的filter。这个可能是我觉得比较有用的一块儿了。
Show only if URL contains 和 Hide if URL contains 使用方法类似功能相反。都是url中包含某些字符的filter，多种情况空格分隔。支持正则表达式和完全匹配，如下是个例子，可以简单理解为隐藏所有js和css请求。

[attach]129680[/attach]
4. Fiddler 内置命令与断点Fiddler还有一个藏的很深的命令框，就是眼前，我用了几年的Fiddler都没有发现它，偶尔在别人的文章发现还有这个小功能，还蛮好用的，整理下记录在这里。
FIddler断点功能就是将请求截获下来，但是不发送，这个时候你可以干很多事情，比如说，把包改了，再发送给服务器君。还有balabala一大堆的事情可以做，就不举例子了。

[attach]129681[/attach]
[attach]129684[/attach]

示例演示：

?baidu

[attach]129687[/attach]
>2000
[attach]129688[/attach]
@
[attach]129689[/attach]
=304
[attach]129690[/attach]
select image
[attach]129691[/attach]

断点命令：

断点可以直接点击Fiddler下图的图标位置，就可以设置全部请求的断点，断点的命令可以精确设置需要截获那些请求。如下示例：

[attach]129692[/attach]
命令：bpafter
[attach]129694[/attach]
bps
[attach]129695[/attach]
[attach]129697[/attach]
bpv
[attach]129698[/attach]
[attach]129699[/attach]
g / go
[attach]129700[/attach]
[attach]129701[/attach]
5、断点调试1.为什么要打断点呢？

比如一个购买的金额输入框，输入框前端做了限制100-1000，那么我们测试的时候，需要测试小于100的情况下。很显然前端只能输入大于100的。这是我们可以先抓到接口，修改请求参数，绕过前端，传一个小于100的数，检查服务端的功能是否OK。
也就是说接口测试其实是不需要管前端的，主要测后端的功能。Fiddler作为代理服务器的作用其实就相当于上面故事里面的小王，传纸条的作用，Fiddler(小王）修改了请求参数（小纸条），是为了验证服务端功能（女神C）。
2.Fiddler可以修改以下请求
--Fiddler设置断点，可以修改HTTP请求头信息，如修改Cookie，User-Agent等
--可以修改请求数据，突破表单限制，提交任意数字，如充值最大100,可以修改成10000
--拦截响应数据，修改响应体，如修改服务端返回的页面数据
二、断点的两种方式
1.before response：这个是打在request请求的时候，未到达服务器之前
2.after response：也就是服务器响应之后，在Fiddler将响应传回给客户端之前。
三、全局断点
1.全局断点就是中断fiddler捕获的所有请求，先设置下，点击rules-> automatic breakpoint ->before requests

[attach]129702[/attach]
2.选中before requests选项后，打开博客园首页：http://www.cnblogs.com/yoyoketang/，看到如下T的标识，说明断点成功
[attach]129703[/attach]

3.打完断点后，会发现所有的请求都无法发出去了，这时候，点下Go按钮，就能走下一步了

4.找到需要修改的请求后，选中该条会话，右侧打开WebFroms,这时候里面的参数都是可以修改的了

[attach]129704[/attach]

5.修改之后点Run to Completion就能提交了，于是就成功修改了请求参数了
6.打全局断点的话，是无法正常上网的，需要清除断点：rules-> automatic breakpoint  ->disabled
四、单个断点
已经知道了某个接口的请求地址，这时候只需要针对这一条请求打断点调试，在命令行中输入指令就可以了
请求前断点（before response)： bpu
1. 论坛登录接口：https://passport.cnblogs.com/user/signin
2. 命令行输入：bpu https://passport.cnblogs.com/user/signin 回车

[attach]129705[/attach]
3.请求登录接口的时候，就会只拦截登录这个接口了，此时可以修改任意请求参数
4.取消断点，在命令行输入： bpu 回车就可以了
响应后断点（after  requests）： bpafter
1. 论坛登录接口：https://passport.cnblogs.com/user/signin
2. 在命令行输入：bpafter https://passport.cnblogs.com/user/signin 回车
3.登录博客园，会发现已经拦截到登录后服务器返回的数据了，此时可以修改任意返回数据
4.取消断点，在命令行输入： bpafter 回车就可以了
五、拦截来自某个网站所有请求
1.在命令行输入：bpu www.cnblogs.com
2.打开博客园任意网页，发现都被拦截到了
3.打开博客园其他网站，其它网站可以正常请求
4.说明只拦截了来自部落论坛（www.cnblogs.com）的请求
5.清除输入bpu回车即可
六、命令行其它相关指令
Bpafter， Bps, bpv, bpm, bpu
这几个命令主要用于批量设置断点
Bpafter xxx: 中断  URL  包含指定字符的全部  session  响应
Bps xxx: 中断 HTTP 响应状态为指定字符的全部 session 响应
Bpv xxx: 中断指定请求方式的全部  session  响应
Bpm xxx: 中断指定请求方式的全部  session  响应、、同于 bpv xxx
Bpu xxx:与bpafter类似
当这些命令没有加参数时，会清空所有设置了断点的HTTP请求。
更多的其他命令可以参考Fiddler官网手册
关于断点调试的步骤：
（1）当我们在这个里边设置了断点过滤，那么就会在相应的会话请求中插入断点，例如下边我在get 请求中插入断点。那么可以发现在执行get 请求的会话是红色的图标。

[attach]129707[/attach]
这个时候如果你要对其中某一条进行断点调试的话，那么就双击，然后就会显示这样一个界面：
[attach]129708[/attach]
这个界面中的按钮的功能
[attach]129709[/attach]
点击Break on Response 以后，你切换到下边的TextView选项卡里边，可以发现返回的数据，然后就可以进行修改
看实例：就以百度一下就知道界面吧。
打了断点以后，执行完Break on Response以后的数据：

[attach]129710[/attach]
现在我对里边的  “百度一下” 这个按钮进行下修改，改成“Hello  welcome Fiddler”
[attach]129711[/attach]

作者：薪火_
链接：https://www.jianshu.com/p/f3919ae24325
来源：简书

作者: lsekfe 时间: 2020-9-9 10:53
7、Response Status Code：

响应码过滤，就是隐藏相应状态码的会话，很简单，自己测试。
8、Response Type and Size：
这部分是根据响应类型和大小的filter，前一半是显示隐藏的filter，后block的filter。block的filter也挺有意思，如果你选中了block css那么浏览器就加载不到css了。

[attach]129712[/attach]
9、Response Headers：
是对response header的flag和修改。比较有用的是如果你想知道哪些请求修改了cookie那么就可以选中第一个checkbox。
总结：通过Fiddler可以抓取请求和响应参数，通过对参数进行分析，可以定位是前端还是后台问题。例如我们在测试登录接口时，输入了正确的手机号和密码，但前端提示“请输入正确的用户名和密码”；仅仅通过界面提示我们只能描述bug表象，但不能分析出问题原因。假设通过抓包我们发现是由于前端参数名错误或参数值为空，从而导致后台报错。这个时候我们将bug指向前端开发人员，并将参数数据和接口文档中对应的报文数据作为附件上传，是不是可以提高bug的解决效率呢？Fiddler在实际的功能测试中有很大的作用，一方面帮助我们更好的了解某个业务中客户端和服务器端是通过哪些接口进行请求的，从而更好的了解代码逻辑；另一方面，我们还可以通过响应数据判断哪里出现了问题，例如可能服务器程序挂了，导致前端报“服务器故障”，这时我们通过抓包发现响应数据返回502，这时我们可以手动去重启服务或是联系运维重启服务，从而提高问题的解决效率。

4.找到需要修改的请求后，选中该条会话，右侧打开WebFroms,这时候里面的参数都是可以修改的

作者: Miss_love 时间: 2020-9-9 14:23
干货满满

作者: szc123qq 时间: 2020-9-10 15:21

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)