聊聊 Jmeter 如何并发执行 Python 脚本

lsekfe

1. 前言
　　最近有小伙伴后台给我留言，说自己用 Django 写了一个大文件上传的 Api 接口，现在想本地检验一下接口并发的稳定性，问我有没有好的方案。
　　本篇文章以文件上传为例，聊聊 Jmeter 并发执行 Python 脚本的完整流程。
　　2. Python 实现文件上传
　　大文件上传包含 3 个步骤，分别是：
　　· 获取文件信息及切片数目
　　· 分段切片，并上传 - API
　　· 文件合并 - API
　　· 文件路径参数化
　　2-1 获取文件信息及切片数目
　　首先，获取文件的大小；
　　然后，利用预设的切片大小获取分段总数；
　　最后，获取文件名及 md5 值。

1. import os
   
2. 　　import math
   
3. 　　import hashlib
   
4. 　　
   
5. 　　def get_file_md5(self, file_path):
   
6. 　　    """获取文件的md5值"""
   
7. 　　    with open(file_path, 'rb') as f:
   
8. 　　         data = f.read()
   
9. 　　         return hashlib.md5(data).hexdigest()
   
10. 　　
    
11. 　　def get_filename(self, filepath):
    
12. 　　    """获取文件原始名称"""
    
13. 　　    # 文件名带后缀
    
14. 　　    filename_with_suffix = os.path.basename(filepath)
    
15. 　　    # 文件名
    
16. 　　    filename = filename_with_suffix.split('.')[0]
    
17. 　　    # 后缀名
    
18. 　　    suffix = filename_with_suffix.split('.')[-1]
    
19. 　　    return filename_with_suffix, filename, suffix
    
20. 　　
    
21. 　　def get_chunk_info(self, file_path):
    
22. 　　    """获取分段信息"""
    
23. 　　    # 获取文件总大小(字节)
    
24. 　　    file_total_size = os.path.getsize(file_path)
    
25. 　　    print(file_total_size)
    
26. 　　
    
27. 　　    # 分段总数
    
28. 　　    total_chunks_num = math.ceil(file_total_size / self.chunk_size)
    
29. 　　    # 文件名（带后缀）
    
30. 　　    filename = self.get_filename(file_path)[0]
    
31. 　　    # 文件的md5值
    
32. 　　    file_md5 = self.get_file_md5(file_path)
    
33. 　　    return file_total_size, total_chunks_num, filename, file_md5

复制代码

2-2 切片及分段上传
　　利用分段总数和分段大小，对文件进行切片，调用分段文件上传接口。

1. 　import requests
   
2. 　　
   
3. 　　def do_chunk_and_upload(self, file_path):
   
4. 　　    """将文件分段处理，并上传"""
   
5. 　　    file_total_size, total_chunks_num, filename, file_md5 = self.get_chunk_info(file_path)
   
6. 　　
   
7. 　　    # 遍历
   
8. 　　    for index in range(total_chunks_num):
   
9. 　　        print('第{}次文件上传'.format(index + 1))
   
10. 　　        if index + 1 == total_chunks_num:
    
11. 　　            partSize = file_total_size % chunk_size
    
12. 　　        else:
    
13. 　　            partSize = chunk_size
    
14. 　　
    
15. 　　        # 文件偏移量
    
16. 　　        offset = index * chunk_size
    
17. 　　
    
18. 　　        # 生成分片id,从1开始
    
19. 　　        chunk_id = index + 1
    
20. 　　
    
21. 　　        print('开始准备上传文件')
    
22. 　　        print("分片id:", chunk_id, "文件偏移量：", offset, ",当前分片大小:", partSize, )
    
23. 　　
    
24. 　　        # 分段上传文件
    
25. 　　        self.__upload(offset, chunk_id, file_path, file_md5, filename, partSize, total_chunks_num)
    
26. 　　
    
27. 　　def __upload(self, offset, chunk_id, file_path, file_md5, filename, partSize, total):
    
28. 　　    """分次上传文件"""
    
29. 　　    url = 'http://**/file/brust/upload'
    
30. 　　    params = {'chunk': chunk_id,
    
31. 　　                'fileMD5': file_md5,
    
32. 　　                'fileName': filename,
    
33. 　　                'partSize': partSize,
    
34. 　　                'total': total
    
35. 　　                }
    
36. 　　    # 根据文件路径及偏移量，读取文件二进制数据
    
37. 　　    current_file = open(file_path, 'rb')
    
38. 　　    current_file.seek(offset)
    
39. 　　
    
40. 　　    files = {'file': current_file.read(partSize)}
    
41. 　　    resp = requests.post(url, params=params, files=files).text
    
42. 　　    print(resp)

复制代码

2-3 合并文件
　　最后调用合并文件的接口，将分段小文件合成大文件。

1. def merge_file(self, filepath):
   
2. 　　        """合并"""
   
3. 　　        url = 'http://**/file/brust/merge'
   
4. 　　        file_total_size, total_chunks_num, filename, file_md5 = self.get_chunk_info(filepath)
   
5. 　　        payload = json.dumps(
   
6. 　　            {
   
7. 　　                "fileMD5": file_md5,
   
8. 　　                "chunkTotal": total_chunks_num,
   
9. 　　                "fileName": filename
   
10. 　　            }
    
11. 　　        )
    
12. 　　        print(payload)
    
13. 　　        headers = {
    
14. 　　            "Content-Type": "application/json"
    
15. 　　        }
    
16. 　　        resp = requests.post(url, headers=headers, data=payload).text
    
17. 　　        print(resp)

复制代码

2-4 文件路径参数化
　　为了并发执行，将文件上传路径参数化。

1. # fileupload.py
   
2. 　　...
   
3. 　　if __name__ == '__main__':
   
4. 　　    filepath = sys.argv[1]
   
5. 　　
   
6. 　　    # 每一段切片的大小(MB)
   
7. 　　    chunk_size = 2 * 1024 * 1024
   
8. 　　
   
9. 　　    fileApi = FileApi(chunk_size)
   
10. 　　    # 分段上传
    
11. 　　    fileApi.do_chunk_and_upload(filepath)
    
12. 　　
    
13. 　　    # 合并
    
14. 　　    fileApi.merge_file(filepath)

复制代码

3. Jmeter 并发执行
　　在使用 Jmeter 创建并发流程前，我们需要编写批处理脚本。其中，执行批处理脚本时，需要跟上文件路径一起执行。

1. # cmd.bat
   
2. 　　
   
3. 　　[url=home.php?mod=space&uid=1806]@echo[/url] off
   
4. 　　set filepath=%1
   
5. 　　
   
6. 　　python  C:\Users\xingag\Desktop\rpc_demo\fileupload.py %*

复制代码

然后，在本地新建一个 CSV 文件，写入多个文件路径：

1. # 准备多个文件路径（csv）
   
2. 　　C:\\Users\\xingag\\Desktop\\charles-proxy-4.6.1-win64.msi
   
3. 　　C:\\Users\\xingag\\Desktop\\V2.0.pdf
   
4. 　　C:\\Users\\xingag\\Desktop\\HBuilder1.zip
   
5. 　　C:\\Users\\xingag\\Desktop\\HBuilder2.zip

复制代码

接着，就可以使用 Jmeter 创建并发流程了。
　　完整步骤如下：
　　· 创建一个测试计划，下面添加一个线程组
　　这里线程组数目与上面文件数目保持一致即可。
　　· 线程组下，添加「 同步定时器 」
　　同步定时器中的「 模拟用户组的数量 」和上面参数数量保持一致。
　　· 添加 CSV 数据文件设置
　　指向上面准备的 csv 数据文件，设置文件格式为 UTF-8，变量名称设置为 file_path，最后将线程共享模式设置为「 当前线程组 」。
　　· 添加调试取样器，方便调试
　　· 添加 OS 进程取样器
　　选择上面创建的批处理文件，命令行参数设置为「 ${file_path} 」
　　· 添加查看结果数
　　4. 最后
　　运行上面创建的 Jmeter 并发流程，在结果数中可以查看并发上传文件的结果。
　　当然，我们可以增加并发数量去模拟真实的使用场景，只需要修改 CSV 数据源及 Jmeter 参数即可。

千里

JMeter高级操作呀，Mark一下