51Testing软件测试论坛

标题: 聊聊 Jmeter 如何并发执行 Python 脚本 [打印本页]
作者: lsekfe    时间: 2021-9-7 10:09
标题: 聊聊 Jmeter 如何并发执行 Python 脚本
1. 前言
　　最近有小伙伴后台给我留言，说自己用 Django 写了一个大文件上传的 Api 接口，现在想本地检验一下接口并发的稳定性，问我有没有好的方案。
　　本篇文章以文件上传为例，聊聊 Jmeter 并发执行 Python 脚本的完整流程。
　　2. Python 实现文件上传
　　大文件上传包含 3 个步骤，分别是：
　　· 获取文件信息及切片数目
　　· 分段切片，并上传 - API
　　· 文件合并 - API
　　· 文件路径参数化
　　2-1 获取文件信息及切片数目
　　首先，获取文件的大小；
　　然后，利用预设的切片大小获取分段总数；
　　最后，获取文件名及 md5 值。
  1. import os
  2. 　　import math
  3. 　　import hashlib
  4. 　　
  5. 　　def get_file_md5(self, file_path):
  6. 　　    """获取文件的md5值"""
  7. 　　    with open(file_path, 'rb') as f:
  8. 　　         data = f.read()
  9. 　　         return hashlib.md5(data).hexdigest()
  10. 　　
  11. 　　def get_filename(self, filepath):
  12. 　　    """获取文件原始名称"""
  13. 　　    # 文件名带后缀
  14. 　　    filename_with_suffix = os.path.basename(filepath)
  15. 　　    # 文件名
  16. 　　    filename = filename_with_suffix.split('.')[0]
  17. 　　    # 后缀名
  18. 　　    suffix = filename_with_suffix.split('.')[-1]
  19. 　　    return filename_with_suffix, filename, suffix
  20. 　　
  21. 　　def get_chunk_info(self, file_path):
  22. 　　    """获取分段信息"""
  23. 　　    # 获取文件总大小(字节)
  24. 　　    file_total_size = os.path.getsize(file_path)
  25. 　　    print(file_total_size)
  26. 　　
  27. 　　    # 分段总数
  28. 　　    total_chunks_num = math.ceil(file_total_size / self.chunk_size)
  29. 　　    # 文件名（带后缀）
  30. 　　    filename = self.get_filename(file_path)[0]
  31. 　　    # 文件的md5值
  32. 　　    file_md5 = self.get_file_md5(file_path)
  33. 　　    return file_total_size, total_chunks_num, filename, file_md5
复制代码
2-2 切片及分段上传
　　利用分段总数和分段大小，对文件进行切片，调用分段文件上传接口。
  1. 　import requests
  2. 　　
  3. 　　def do_chunk_and_upload(self, file_path):
  4. 　　    """将文件分段处理，并上传"""
  5. 　　    file_total_size, total_chunks_num, filename, file_md5 = self.get_chunk_info(file_path)
  6. 　　
  7. 　　    # 遍历
  8. 　　    for index in range(total_chunks_num):
  9. 　　        print('第{}次文件上传'.format(index + 1))
  10. 　　        if index + 1 == total_chunks_num:
  11. 　　            partSize = file_total_size % chunk_size
  12. 　　        else:
  13. 　　            partSize = chunk_size
  14. 　　
  15. 　　        # 文件偏移量
  16. 　　        offset = index * chunk_size
  17. 　　
  18. 　　        # 生成分片id,从1开始
  19. 　　        chunk_id = index + 1
  20. 　　
  21. 　　        print('开始准备上传文件')
  22. 　　        print("分片id:", chunk_id, "文件偏移量：", offset, ",当前分片大小:", partSize, )
  23. 　　
  24. 　　        # 分段上传文件
  25. 　　        self.__upload(offset, chunk_id, file_path, file_md5, filename, partSize, total_chunks_num)
  26. 　　
  27. 　　def __upload(self, offset, chunk_id, file_path, file_md5, filename, partSize, total):
  28. 　　    """分次上传文件"""
  29. 　　    url = 'http://**/file/brust/upload'
  30. 　　    params = {'chunk': chunk_id,
  31. 　　                'fileMD5': file_md5,
  32. 　　                'fileName': filename,
  33. 　　                'partSize': partSize,
  34. 　　                'total': total
  35. 　　                }
  36. 　　    # 根据文件路径及偏移量，读取文件二进制数据
  37. 　　    current_file = open(file_path, 'rb')
  38. 　　    current_file.seek(offset)
  39. 　　
  40. 　　    files = {'file': current_file.read(partSize)}
  41. 　　    resp = requests.post(url, params=params, files=files).text
  42. 　　    print(resp)
复制代码
2-3 合并文件
　　最后调用合并文件的接口，将分段小文件合成大文件。
  1. def merge_file(self, filepath):
  2. 　　        """合并"""
  3. 　　        url = 'http://**/file/brust/merge'
  4. 　　        file_total_size, total_chunks_num, filename, file_md5 = self.get_chunk_info(filepath)
  5. 　　        payload = json.dumps(
  6. 　　            {
  7. 　　                "fileMD5": file_md5,
  8. 　　                "chunkTotal": total_chunks_num,
  9. 　　                "fileName": filename
  10. 　　            }
  11. 　　        )
  12. 　　        print(payload)
  13. 　　        headers = {
  14. 　　            "Content-Type": "application/json"
  15. 　　        }
  16. 　　        resp = requests.post(url, headers=headers, data=payload).text
  17. 　　        print(resp)
复制代码
2-4 文件路径参数化
　　为了并发执行，将文件上传路径参数化。
  1. # fileupload.py
  2. 　　...
  3. 　　if __name__ == '__main__':
  4. 　　    filepath = sys.argv[1]
  5. 　　
  6. 　　    # 每一段切片的大小(MB)
  7. 　　    chunk_size = 2 * 1024 * 1024
  8. 　　
  9. 　　    fileApi = FileApi(chunk_size)
  10. 　　    # 分段上传
  11. 　　    fileApi.do_chunk_and_upload(filepath)
  12. 　　
  13. 　　    # 合并
  14. 　　    fileApi.merge_file(filepath)
复制代码
3. Jmeter 并发执行
　　在使用 Jmeter 创建并发流程前，我们需要编写批处理脚本。其中，执行批处理脚本时，需要跟上文件路径一起执行。
  1. # cmd.bat
  2. 　　
  3. 　　[url=home.php?mod=space&uid=1806]@echo[/url] off
  4. 　　set filepath=%1
  5. 　　
  6. 　　python  C:\Users\xingag\Desktop\rpc_demo\fileupload.py %*
复制代码
然后，在本地新建一个 CSV 文件，写入多个文件路径：
  1. # 准备多个文件路径（csv）
  2. 　　C:\\Users\\xingag\\Desktop\\charles-proxy-4.6.1-win64.msi
  3. 　　C:\\Users\\xingag\\Desktop\\V2.0.pdf
  4. 　　C:\\Users\\xingag\\Desktop\\HBuilder1.zip
  5. 　　C:\\Users\\xingag\\Desktop\\HBuilder2.zip
复制代码
接着，就可以使用 Jmeter 创建并发流程了。
　　完整步骤如下：
　　· 创建一个测试计划，下面添加一个线程组
　　这里线程组数目与上面文件数目保持一致即可。
　　· 线程组下，添加「 同步定时器 」
　　同步定时器中的「 模拟用户组的数量 」和上面参数数量保持一致。
　　· 添加 CSV 数据文件设置
　　指向上面准备的 csv 数据文件，设置文件格式为 UTF-8，变量名称设置为 file_path，最后将线程共享模式设置为「 当前线程组 」。
　　· 添加调试取样器，方便调试
　　· 添加 OS 进程取样器
　　选择上面创建的批处理文件，命令行参数设置为「 ${file_path} 」
　　· 添加查看结果数
　　4. 最后
　　运行上面创建的 Jmeter 并发流程，在结果数中可以查看并发上传文件的结果。
　　当然，我们可以增加并发数量去模拟真实的使用场景，只需要修改 CSV 数据源及 Jmeter 参数即可。





作者: 千里    时间: 2021-9-7 17:23
JMeter高级操作呀，Mark一下



欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/) Powered by Discuz! X3.2