软件品质评测系统之评测结果展示

lsekfe

　   1.为什么要进行数据展示
　　在前几次的分享中，设计了好的评测体系、具备了数据挖掘分析能力、选择高效稳定的评测执行工具后，我们会拿到第一手的评测数据。在我们之前的实践过程中，拿到原始评测数据后会通过观察数据给出一个评测结论。长此以往发现这样并不利于保存数据记录，并且没法反映出一段时间内评测指标的变化趋势。为了解决这个问题，同时为了清晰、美观地展示出评测报告，我们设计了评测结果展示平台。
　　2.哪些数据需要展现
　　评测结果展现
　　对于在评测设计时选定的评测指标，需要准确完整地展现在评测系统中。展现出来的数据需要客观反映被评测模型（或软件系统）的各项指标，使得用户在看完结果展现后即可对被评测模型（或软件系统）的品质情况有个全面的认知。这儿有一个小技巧，对于评测结果，可以采用文字+图表的形式进行展现，文字部分用最简洁的语言概括整体结论，图表是对数字的抽象，作为对文字结论的支撑，与文字结论一同出现，增强评测结果展现的完备性。我们据此设计了一个评测的结果报告，每次评测完成后会通过该报告给出评测结论：
版本间数据对比
　　一般情况下，被评测模型（或软件系统）都会有一个从粗糙到精细、从单一到完备、从朴素到智能的发展过程，因而每次评测的结果除了反映当时被评测模型的品质之外，与之前版本的数据对比也显得尤为重要。通过版本间的数据对比，可以看到一段时间内被评测模型（或软件系统）的品质指标发展趋势。对于每个版本的修改，也能直观地给出结论：这个版本的改动对于效果的影响到底是正向还是负向，影响有多大。对比发现的正向影响，我们可以进行深入分析，找到正向影响的因素，从而反哺被评测模型（或软件系统）的策略和模型优化。版本间的数据对比重在反映一段时间内某项指标的变化趋势，因此建议选择使用折线图进行展示：

　竞品间数据对比
　　除了版本间数据的对比外，竞品之间的数据对比我们也必须关注。几乎每个软件产品或者每个功能都避免不了有“竞品”的存在，不论我们的产品当前是领先于竞品，还是跟竞品不相上下，亦或是落后于竞品，我们都需要通过数据指标去衡量和竞品之间的差别，从而帮助我们在战略上明确发展方向。竞品间数据对比主要关注各个产品在指定的指标下的数据差异，因此推荐使用柱状图进行展示：


3.如何进行结果展示
　　准确
　　对于评测结果的展示，最重要的就是数据准确性。即我们最终展示给用户的评测结论以及各类图标数据，都应当与原始的评测结论、数据保持一致，同时评测结果的展示要与最终上线后预期的结果或趋势保持一致，这样的评测结论才是可信的、有指导意义的。在保证准确性方面，要做到决不能更改原始评测数据，并且对于原始评测数据中抖动较大的数据，需要深入分析原因，最终解释清楚为什么会出现抖动，使评测结果客观、真实地反映被评测模型（或系统）的品质状况。
　　清晰
　　在准确性之外，清晰展现也是一个重要的点。清晰展现的目的是为了消除歧义，帮助用户（评测结果的消费者）准确到位地理解评测结果的含义。举个例子，比如信息检索系统中都会有一个关键指标“准确率”，但如果在评测结果中直接给出一个准确率的数值，这样可能会引起用户的猜测：这个准确率的前提是什么？这个值到底是什么水平？因此，为了让结果展现得更清晰，我们可以在展示时说明被评测的场景、前提。在做数据展示时，可以参考常见图表的使用场景：比如历史版本的数据可以用折线图，竞品对比可以采用柱状图，数据占比可以采用饼图等，在实际操作中，可以根据不同场景选择不同的数据图表，更好地帮助用户理解该指标的含义。
　　工具推荐
　　为了保证评测结果准确清晰地呈现出来，最终图表的制作和展现也是重要的一环。早期我们拿到评测的原始数据后，会进行数据提取然后用Excel或其他软件手工绘图，后来发现随着评测工作的持续开展，手动绘图效率很低，长期来看借助各种工具制作清晰好看的图表成为了必不可少的手段。为此我们在平台设计时调研了部分开源的图表绘制工具，几款工具各有特色，推荐给大家，可以按需使用。
　　- echart（https://echarts.apache.org/en/index.html）





- HighChart（highcharts.com）


4.总结
　　需要说明的是，对于评测结果的展示并不是一成不变的。本文只是列举了一些通用的原则和方法，权当抛砖引玉。建议大家在设计评测系统时，多做用户调研，掌握清楚用户（评测报告消费者）的实际需求和最关注的部分，结合准确、清晰的原则，设计出最符合自己实际情况的评测结果展示系统。