使用Jenkins扩展钉钉消息通知

lsekfe

背景
　　Jenkins借助钉钉插件，实现当构建失败时，自动触发钉钉预警。虽然插件允许自定义消息主体，支持使用Jenkins环境变量，但是局限性依旧很大。当接收到钉钉通知后，若想进一步查看报错具体原因，仍完全依赖邮件通知，很影响效率。
　　如何在钉钉通知消息中，获取到本次构建的具体内容，如失败占比、失败用例报错详情等，本文记录了解决思路。最终实现结果如图：

解决思路
　　Jenkins+RobotFramework项目
　　思路如下：
　　使用Startup Trigger插件和Groovy plugin插件，在服务重启时自动修改Jenkins CSP配置， 解决Robot Framework项目测试报告在Jenkins服务器上无法预览的问题，如下：

1. System.setProperty("hudson.model.DirectoryBrowserSupport.CSP", "")
   

复制代码

Jenkins项目构建完成后, 在构建后操作中，利用Post Build Task插件提供的命令行功能，传入相关参数执行封装的脚本，如下：

1. if "%构建失败时触发钉钉通知%"=="true" (
   
2.     echo ************推送钉钉消息通知************
   
3.     cd %WORKSPACE%/test
   
4.     C:/python38/python.exe dingtalk.py --id=%BUILD_NUMBER% --name=%JOB_NAME% --server=xxxxxx
   
5.     echo *******************************************
   
6.     exit 0
   
7. )
   

复制代码

说明几点：
　　“构建失败时触发钉钉通知” 是我自定义的布尔类型的项目构建参数，用于更方便的控制是否触发钉钉消息通知；
　　dingtalk.py是封装的脚本，其内容在下面会详细说明；
　　Post Build Task插件的位置必须位于Robot Framework插 件之后，否则会引发以下异常：

1. robot.errors.DataError: Reading XML source '<in-memory file>' failed: Incompatible XML element 'html'

复制代码

编写第二步中调用的钉钉消息通知脚本，其核心思路可分为两点：
　　获取并分析本次构建结果文件（如output.xml），提取数据如：失败占比、失败用例报错详情等；
　　组装Markdown格式的消息主体，然后调用DingTalk Webhook接口，推送消息通知。
　　核心代码如下：

1. def fetch_robot_output_xml(xml_name=None, save=False, cache=True) -> str:
   
2.     """ 从服务器上获取 Robot Framework 项目构建完成后生成的xml文件
   
3.     @param xml_name: xml文件名称, 部分项目会合并测试报告, 默认`merge.xml`
   
4.     @param save: 是否将文件保存到本地, 默认 False
   
5.     @param cache: 默认为True, 会首先遍历本地已保存的构建文件, 若文件名称不存在才会向服务器发起请求;
   
6.     @Returns : xml文件内容
   
7.     """
   
8.     xml_name = xml_name if xml_name else "merge.xml"
   
9.     url = url_prefix + f"{name}/{id}" + f"/robot/report/{xml_name}"
   
10. 
    
11.     output_xml = None
    
12.     if cache:
    
13.         for xml in robot_outputs.glob('*.xml'):
    
14.             if name in xml.stem and id in xml.stem:
    
15.                 output_xml = xml.read_text(encoding='utf-8')
    
16.                 break
    
17.     if not output_xml:
    
18.         print(f"发起请求获取测试报告, 目标URL: {url}")
    
19.         # curl -X GET {URL} --user {USER}:{TOKEN}
    
20.         resp = requests.get(url, auth=HTTPBasicAuth(jenkins_user.encode('utf-8'), jenkins_token.encode('utf-8')))
    
21.         resp.encoding = 'utf-8'
    
22.         output_xml = resp.text
    
23. 
    
24.     if save and not cache:
    
25.         save_output_xml(output_xml, f"{server}_{name}_{id}_output.xml")
    
26.     print("Done.")
    
27.     return output_xml
    
28. 
    
29. def parse_robot_result(xml) -> dict:
    
30.     """解析用例运行结果
    
31.     pip install robotframework==3.2.1
    
32.     获取统计信息, 优先使用此方法, 因为xml文件中可能会不包含有效的测试报告信息, 如请求获取文件服务器返回404的情况
    
33.     """
    
34.     print('解析用例运行结果...')
    
35.     try:
    
36.         suite = ExecutionResult(xml).suite
    
37.     except DataError as e:
    
38.         raise e('解析xml文件失败, 请检查构建文件内容是否完整, 确认服务器上的构建文件是否已被删除')
    
39. 
    
40.     all_tests = suite.statistics.critical
    
41.     total, passed, failed = all_tests.total, all_tests.passed, all_tests.failed
    
42.     pass_rate = round((passed / total) * 100, 2)
    
43.     is_success = True if failed == 0 else False
    
44. 
    
45.     stat = {'server': server, 'job': name, 'build_id': id, 'total': total, 'passed': passed, 'failed': failed, 'pass_rate': str(pass_rate) + "%", 'is_success': is_success}
    
46.     print('Done')
    
47.     return stat
    
48. 
    
49. 
    
50. def pick_fail_cases(xml: str) -> list:
    
51.     print('获取所有失败用例及其报错信息...')
    
52.     root = ET.fromstring(xml)
    
53. 
    
54.     fail_cases = []
    
55.     for case in root.iter('test'):
    
56.         status = case.find('status')
    
57.         if status.get('status') == "FAIL":
    
58.             fail_cases.append({"case": case.get('name'), "message": truncate_text(status.text)})
    
59.     print('Done.')
    
60.     return fail_cases
    
61. 
    
62. def package_dingtalk_text(stat: dict) -> dict:
    
63.     print("组装钉钉通知信息主体...")
    
64.     # 项目页面地址
    
65.     job_url = url_prefix + stat['job'] + '/'
    
66.     # 本次构建ID以及详情页面地址
    
67.     build_id = stat['build_id']
    
68.     build_url = job_url + build_id + '/'
    
69.     # 统计信息
    
70.     summary_text = f"用例总数：{stat['total']}，失败用例数：{stat['failed']}， 通过率：{stat['pass_rate']}\n"
    
71.     # 用例报错详情
    
72.     case_error_details = ""
    
73.     num = 1  # 序号
    
74.     if len(stat['fail_cases']) > 0:
    
75.         for case in stat['fail_cases']:
    
76.             case_error_details = case_error_details + f"{num}. 用例名称: {case['case']}, 失败原因: {case['message']}\n"
    
77.             num += 1
    
78.     print("Done.")
    
79.     return {
    
80.         "server_show_name": server_show_name,
    
81.         "job_show_name": job_show_name,
    
82.         "job_url": job_url,
    
83.         "build_id": build_id,
    
84.         "build_url": build_url,
    
85.         "summary_text": summary_text,
    
86.         "case_error_details": case_error_details
    
87.     }
    
88. 
    
89. 
    
90. def ding_talk(message=None):
    
91.     """
    
92.     目前只支持markdown语法的子集, 参考官方文档: https://developers.dingtalk.com/document/app/custom-robot-access
    
93.     """
    
94.     print("推送钉钉消息通知...")
    
95.     webhook = "https://oapi.dingtalk.com/robot/send?access_token=1048af6c9a25ea5e924ae328c6782b68c48a40bcea773df96eadce783f2941ca"
    
96.     headers = {"Content-Type": "application/json", "Charset": "UTF-8"}
    
97. 
    
98.     payload = {
    
99.         "msgtype": "markdown",
    
100.         "markdown": {
     
101.             "title":
     
102.             "心跳测试",
     
103.             "text":
     
104.             f"# [[{message['server_show_name']}] 心跳测试-{message['job_show_name']}]({message['job_url']})\n***\n>*失败用例会自动重复执行一次, 若仍然失败, 则标记为失败*\n***\n- 任务：#[{message['build_id']}]({message['build_url']})\n- 状态：失败\n- 统计信息：{message['summary_text']}\n - 失败用例报错详情：\n\n{message['case_error_details']}\n"
     
105.         },
     
106.         "at": {
     
107.             "isAtAll": True
     
108.         }
     
109.     }
     
110.     resp = requests.post(webhook, json=payload, headers=headers)
     
111.     print(resp.text)
     
112.     print("Done.")
     
113.     return res

复制代码

Jenkins+JMeter项目
　　前两步是共同的，也是通过解析result.jtl文件提取需要的数据，直接贴代码：

1. def fetch(xml_name=None, save_file=False) -> str:
   
2.     xml_name = xml_name if xml_name else "result.jtl"
   
3.     url = url_prefix + f"{name}/{id}" + f"/artifact/{name}result/{xml_name}"
   
4.     print(url)
   
5.     resp = requests.get(url, auth=HTTPBasicAuth(jenkins_user.encode('utf-8'), jenkins_token.encode('utf-8')))
   
6.     status_code = resp.status_code
   
7.     if status_code == 200:
   
8.         resp.encoding = 'utf-8'
   
9.         xml = resp.text
   
10. 
    
11.         if save_file:
    
12.             save(xml, f"{server}_{name}_{id}_{xml_name}")
    
13. 
    
14.         return xml
    
15.     elif status_code == 404:
    
16.         print(f"{status_code}, 指定的测试报告不存在, 可能已被删除, 请去服务器上检查")
    
17.         raise Exception("{status_code}, 指定的测试报告不存在, 可能已被删除, 请去服务器上检查")
    
18.     elif status_code == 500:
    
19.         print(f"获取测试报告失败, 详情: {status_code} >> {resp.text}")
    
20.         raise Exception(f"获取测试报告失败, 详情: {status_code} >> {resp.text}")
    
21.     else:
    
22.         return None
    
23. 
    
24. def parse(xml):
    
25.     """分析xml测试报告, 提取数据"""
    
26.     result = {}
    
27.     try:
    
28.         root = ET.fromstring(xml)
    
29.     except ParseError:
    
30.         raise ParseError("解析XML文件失败, 请检查服务器上文件是否存在")
    
31. 
    
32.     # 获取统计信息
    
33.     samples = root.findall('httpSample')
    
34.     failures = [sample for sample in samples if sample.get('s') == "false"]
    
35.     failures_cnt = len(failures)
    
36.     success = [sample for sample in samples if sample.get('s') == "true"]
    
37.     success_cnt = len(success)
    
38.     is_success = True if failures_cnt == 0 else False
    
39.     success_rate = "100%" if is_success else str(round((success_cnt / len(samples)) * 100, 2)) + "%"
    
40.     result['summary'] = {"samples": len(samples), "is_success": is_success, "failures_cnt": failures_cnt, "success_rate": success_rate}
    
41. 
    
42.     # 数据清洗, 获取失败用例的报错信息
    
43.     fail_details = []
    
44.     if failures_cnt > 0:
    
45.         pat = re.compile(".*R-TraceId:(.*?)\n.*", re.DOTALL)
    
46.         for sample in failures:
    
47.             msg = []
    
48.             for res in sample.findall('assertionResult'):
    
49.                 for child in res:
    
50.                     if child.tag in ("failure", "error") and child.text == "true":
    
51.                         try:
    
52.                             msg.append(res.find('failureMessage').text)  # ?这个节点可能会不存在
    
53.                         except AttributeError:
    
54.                             msg.append("")
    
55. 
    
56.             response_header = sample.find('responseHeader').text
    
57.             try:
    
58.                 traceid = pat.match(response_header).group(1).strip()
    
59.             except AttributeError:
    
60.                 traceid = None
    
61.             response_data = sample.find('responseData').text.replace('\r\n', '')
    
62.             fail_details.append({
    
63.                 'sample': sample.get('lb'),
    
64.                 "traceid": traceid,
    
65.                 'data': truncate_text(response_data),
    
66.                 'msg': truncate_text(",".join(msg))
    
67.             })
    
68. 
    
69.     result['fail_samples'] = fail_details
    
70.     result.update({
    
71.         "server": server,
    
72.         'job': name,
    
73.         'build_id': id,
    
74.     })
    
75.     return result

复制代码