51Testing软件测试论坛

 找回密码
 (注-册)加入51Testing

QQ登录

只需一步,快速开始

微信登录,快人一步

手机号码,快捷登录

查看: 3794|回复: 2
打印 上一主题 下一主题

[原创] 一文让你了解AI产品的测试

[复制链接]
  • TA的每日心情
    无聊
    昨天 09:34
  • 签到天数: 1052 天

    连续签到: 2 天

    [LV.10]测试总司令

    跳转到指定楼层
    1#
    发表于 2020-12-24 10:51:17 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    评价人工智能算法模型的几个重要指标
      如何测试人工智能产品越来越受到广大测试工程师的关注,由于人工智能的测试预言(Test Oracle)不是像普通软件产品那么明确,到目前为止,基于大数据的第四代人工智能产品的测试,主要集中在“对大数据测试”“白盒测试”“基于样本分析算法的优劣”以及“对最终产品的验收测试”。“对大数据测试”主要针对数据阶段验证、对数据计算验证和对输出阶段验证;“白盒测试”主要考虑神经元覆盖(Neuron Coverage)、阈值覆盖率(Threshold Coverage)、符号变更率(Sign Change Coverage)、值变更覆盖率(Value Change Coverage)、符号-符号覆盖率(Sign-Sign Coverage)和层覆盖(Layer Coverage)这六个指标;“对最终产品的验收测试”可以采用对传统软件验收测试的方法,基于业务来进行测试,比如对于人脸识别系统,是否可以在各个人脸角度变化,光线等条件下正确识别人脸。本文重点讨论的是“基于样本分析算法的优劣”。
      几个基本概念
      大家都知道,人工智能通过训练样本来对系统通过深度学习的算法来进行训练,然后通过测试样本来对训练样本进行测试。“基于样本分析算法的优劣”中的样本仅对于测试样本而言。在这里样本的取样结果质量有几个关键的指标:正确率、精确度、召回率和F1分数。在介绍这些指标之前,我们先来看一下下面四个概念:
      T(True):真样本;
      F(False):假样本;
      P(Positive):判断为真;
      N(Negative):判断为假。
      由此,我们又可以推断出如下四个概念:
      TP True Positive:正确的判断为真(有病判断为有病,又称真阳性)
      FN False Negative:错误的判断为假(有病判断为没病,又称假阴性,属于漏诊)
      FP False Positive:错误的判断为真(没病判断为有病,又称假阳性,属于误诊)
      TN True Negative:正确的判断为假(没病判断为没病,又称真阴性)
      由此得到下面一个表:

    精确度、召回率、准确性、Fn Score
      这个表,成为混淆矩阵。下面把这张表再进行加工。

    通过这张表,我们得到了所有的指标,在这些指标中,以下2个是特别有用的:
      精确度(PPV)=TP/(TP+FP):真阳性在判断为真的比例数。是衡量所有判断为真的样例的质量;
      召回率(TPR)= TP/(TP+FN):在所有的真样本中有多少被找出。
      另外还有2项是此重要的,其中1项没有在上表中体现:
      特异度(Specificity)= TN/( FP+FN):即真阴率,实际的假样本被正确地找出;
      准确性= (TP + TN) / (TP + FP + TN + FN):所有的查出的真阳与真阴数所占所有样本的比率。
      为了让大家更不好的理解这些指标,我们来看一个案例。某电子商务网站,根据Linda的历史购物框推选了15个商品,其中12个是推荐正确的,3个是推荐错误的,这个系统中有50个商品,其中符合推荐给Linda的应该为20个,其他30个为不符合的。下面让我们来看一下上面谈到的各个指标:
      精确度(Precision)=12/15=80%;
      召回率(Recall)=12/20=60%;
      特异度(Specificity)=(30-(15-12))/30=27/30=90%;
      准确性=(12+ Specificity)/50=(12+27)/50=78%。
      那么是不是精确度或者召回率越高越好呢,那可不一定,要视具体的产品而定。比如新冠病毒的检测软件,我们宁可降低精确度,也要保证召回率,不放过一个病例。这种情况即所谓的“宁错杀一百,不放过一个”的策略。比如:样本中有50真样本,50假样本,判断得到95个,其中50个为真,45个为假。这样精度50/95=53%,召回率=50/50=100%,由此可见这种算法精确度并不高,只有53%,而召回率达到了100%。另外一种情况,是可以牺牲召回率,而保证精确度,比如精准扶贫,对于每一个扶贫农夫开销是很大的,所以不允许存在把钱花在假贫困户上。比如:同样样本中有50真样本,判断得到15个,其中15个为真,其中0个为假。这样精度15/15=100%,召回率=15/50=30%,由此可见这种算法精确度很高高,达到100%,而召回率不高,仅为30%。
      一般而言精确度和召回率应该是负相关的,如果两个值都低说明算法有了问题了,这里提出了F0.5分数、F1分数、F2分数、F3分数等指标。用的最多的是F1分数。
      Fn分数(F1 Score)=(1+n2)×精度×召回率×2 / (n2×精确度+召回率)
      所以:
      F0.5分数(F0.5 Score)=1.25×精度×召回率/ (0.25×精度+召回率);
      F1分数(F1 Score)=2×精度×召回率/ (1×精度+召回率);
      F2分数(F1 Score)=5×精度×召回率/ (4×精度+召回率)。
      这样在上面的商品推荐案例中:
      F0.5 Score=1.25×80%×60%/(0.25×80%+60%)=0.6/0.8=75%;
      F1 Score=2×80%×60%/(1×80%+60%)=0.96/1.4=68%;
      F2 Score=5×80%×60%/(4×80%+60%)=2.4/3.8=63%。
      一般而言,如果Fn分数低于60%算法就有问题了,如果低于50%,就存在严重事故了。由此可见n值越大,要求越严格。
      接下来介绍几个更高级的度量图
      ROC 曲线(Receiver Operating Characteristic curve)
      ROC曲线为接受者操作特性曲线是指在特定刺激条件下,以被试在不同判断标准下所得的假阳率为横坐标,真阳率为纵坐标,画得的各点的连线。

    AUC(Area Under the Curve)为ROC下面的面积。
      P-R(Recall-Precision)曲线
      横坐标为,纵坐标为召回率,纵坐标为精确度。

     如何选择ROC和P-R曲线
      在很多实际问题中,正负样本数量往往很不均衡。比如,计算广告领域经常涉及转化率模型,正样本的数量往往是负样本数量的1/1000,甚至1/10000。若选择不同的测试集,P-R曲线的变化就会非常大,而ROC曲线则能够更加稳定地反映模型本身的好坏。所以,ROC曲线的适用场景更多,被广泛用于排序、推荐、广告等领域。
      但需要注意的是,选择P-R曲线还是ROC曲线是因实际问题而异的,如果研究者希望更多地看到模型在特定数据集上的表现,P-R曲线则能够更直观地反映其性能。
      PR曲线比ROC曲线更加关注正样本,而ROC则兼顾了两者。
      AUC越大,反映出正样本的预测结果更加靠前(推荐的样本更能符合用户的喜好)。
      当正负样本比例失调时,比如正样本1个,负样本100个,则ROC曲线变化不大,此时用PR曲线更加能反映出分类器性能的好坏。这个时候指的是两个分类器,因为只有一个正样本,所以在画auc的时候变化可能不太大;但是在画PR曲线的时候,因为要召回这一个正样本,看哪个分类器同时召回了更少的负样本,差的分类器就会召回更多的负样本,这样precision必然大幅下降,这样分类器性能对比就出来了。
      Kappa系数
      K=(P0-Pe)/(1-Pe)
      P0是每一类正确分类的样本数量之和除以总样本数,也就是总体分类精度
      假设每一类的真实样本个数分别为a1,a2,...,aC,而预测出来的每一类的样本个数分别为b1,b2,...,bC,总样本个数为n,则有Pe=( a1×b1+a2×b2+…+aC×bC)/(n×n)
      让我们来看一个例子,比如有如下混淆矩阵:

    所有案例数:239+21+16+16+73+4+6+9+28=664;
      判断为A的案例数:239+16+6=261;
      判断为B的案例数:21+73+9=103;
      判断为C的案例数:16+4+280=300;
      A的案例数:239+21+16=276;
      B的案例数:16+73+4=93;
      C的案例数:6+9+280=295。
      这样:
      P0=(239+73+280)/664=0.8916;
      Pe=(261×276+103×93+300×295)/(64×64)=0.3883;
      K=(0.8916-0.3883)/(1-0.3883)=0.8228。
      通过K的值,可以判定模型的好坏:
      0.0~0.20:极低的一致性(slight);
      0.21~0.40:一般的一致性(fair);
      0.41~0.60:中等的一致性(moderate);
      0.61~0.80:高度的一致性(substantial);
      0.81~1:几乎完全一致(almost perfect)。
      程序的实现
      前面讲课那么多指标,其实在Python里面可以利用sklearn这个插件快速的画出这些指标和算法。利用这个工具之前当然需要下载安装这个插件。
      >pip3 install sklearn
      下面来讲解一下这个代码。
    1. # coding=UTF-8
    2.   from sklearn import metrics
    3.   from sklearn.metrics import confusion_matrix
    4.   from sklearn.metrics import accuracy_score
    5.   from sklearn.metrics import precision_score
    6.   from sklearn.metrics import recall_score
    7.   from sklearn.metrics import f1_score
    8.   import matplotlib.pylab as plt
    9.   import numpy as np
    10.   import matplotlib
    11.   import matplotlib.pyplot as plt
    12.   from sklearn.metrics import precision_recall_curve
    13.   #真实值
    14.   GTlist =  [1,1,0,1,1,0,1,0,0,1]
    15.   #模型预测值
    16.   Problist = [1,0,1,1,1,1,1,1,0,1]
    17.   y_true = np.array(GTlist)
    18.   y_pred = np.array(Problist)
    19.   #混淆矩阵
    20.   confusion_matrix = confusion_matrix(y_true, y_pred)
    21.   print("混淆矩阵:")
    22.   print(confusion_matrix)
    23.   #准确性
    24.   accuracy = '{:.1%}'.format(accuracy_score(y_true, y_pred))
    25.   print("准确性:",end='')
    26.   print(accuracy)
    27.   #精确性
    28.   precision = '{:.1%}'.format(precision_score(y_true, y_pred))
    29.   print("精确性:",end='')
    30.   print(precision)
    31.   #召回率
    32.   recall = '{:.1%}'.format(recall_score(y_true, y_pred))
    33.   print("召回率:",end='')
    34.   print(recall)
    35.   #F1值
    36.   f1score = '{:.1%}'.format(f1_score(y_true, y_pred))
    37.   print("F1值:",end='')
    38.   print(f1score)
    39.   #初始化画图数据
    40.   #真实值
    41.   GTlist = [1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0,0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0]
    42.   #模型预测值
    43.   Problist = [0.99, 0.98, 0.97, 0.93, 0.85, 0.80, 0.79, 0.75, 0.70, 0.65,0.64, 0.63, 0.55, 0.54, 0.51, 0.49, 0.30, 0.2, 0.1, 0.09]
    44.   fpr, tpr, thresholds = metrics.roc_curve(GTlist, Problist, pos_label=1)
    45.   roc_auc = metrics.auc(fpr, tpr)  #auc为Roc曲线下的面积
    46.   print("AUC值:",end='')
    47.   print('{:.1%}'.format(roc_auc))
    48.   #ROC曲线
    49.   plt.plot(fpr, tpr, 'b',label='AUC = %0.2f'% roc_auc)
    50.   plt.legend(loc='lower right')
    51.   # plt.plot([0, 1], [0, 1], 'r--')
    52.   plt.xlim([-0.1, 1.1])
    53.   plt.ylim([-0.1, 1.1])
    54.   plt.xlabel('False Positive Rate') #横坐标是fpr
    55.   plt.ylabel('True Positive Rate')  #纵坐标是tpr
    56.   plt.title('Receiver operating characteristic example')
    57.   plt.show()
    58.   #P-R曲线
    59.   plt.figure("P-R Curve")
    60.   plt.title('Precision/Recall Curve')
    61.   plt.xlabel('Recall')
    62.   plt.ylabel('Precision')
    63.   #y_true为样本实际的类别,y_scores为样本为正例的概率
    64.   y_true = np.array(GTlist)
    65.   y_scores = np.array(Problist)
    66.   precision, recall, thresholds = precision_recall_curve(y_true, y_scores)
    67.   plt.plot(recall,precision)
    68.   plt.show()
    复制代码
      真实值GTlist = [1,1,0,1,1,0,1,0,0,1]
      模型预测值Problist = [1,0,1,1,1,1,1,1,0,1]
      现在有10位病人来看病,其中3号、6号、8号和9号病人是没有疾病的(绿色),其他剩余6位有疾病(红色)。

    1号、4号、5号、7号和10号病人被查出来(真阳性,红色);2号病人没有被查出来(漏诊,橙色);3号、6号和8号被误诊(误诊,蓝色),另外9号(真隐性,绿色),通过运行这段代码,得到如下结果:
      混淆矩阵:
      [[1 3]
      [1 5]]
      准确性:60.0%
      精确性:62.5%
      召回率:83.3%
      F1值:71.4%
      我们来验证一下,真阳性:5、真阴性:1、假阳性:3、假阴性:1,所以混淆矩阵为:

    由此,可以看出算出来的矩阵与正式的矩阵的对应关系。假在前,真在后,一行代表实际中的实际中的一行。
      准确性:(1+5)/10=60%
      精确性:5/8=62.5%
      召回率:5/6=83.3%
      F1 Score=62.5%×83.3%×2/(62.5%+83.3%)=1.04125/1.458=71%
      可见这些值都是正确的。接下来再看下面的数据。
      #真实值
      GTlist = [1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0,0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0]
      #模型预测值
      Problist = [0.99, 0.98, 0.97, 0.93, 0.85, 0.80, 0.79, 0.75, 0.70, 0.65,0.64, 0.63, 0.55, 0.54, 0.51, 0.49, 0.30, 0.2, 0.1, 0.09]
      GTlist表示真实样本,1.0代表真样本,0.0代表假样本;
      Problist表示预测样本,每个值表示预测到对应真实样本为真的概率。比如第一个0.99表示预测第一个正样本的概率为99%,第三个0.97表示预测第三个假样本的概率为97%。通过运行我们得到如下曲线图。

    我们考察A(0,0)、B(1,1)、C(0,1)、D(1,0)四个点:
      ?A(0,0):表示真阳率与假阳率均为0,表示什么都没有测试到;
      ?B(1,1):表示真阳率与假阳率均为100%;
      ?C(0,1):真阳率为100%,假阳率均为0,测试到的全是真的;
      ?D(1,0):真阳率为0,假阳率均为100%,测试到的全是假的。
      由此可见C点的情况最高,所以曲线越靠近左上角说明算法最好。
      另外,上面代码也会给出了化P-R图的方法,对于ROC曲线,采用同一个测试数据,画出来的图如下显示。







    本帖子中包含更多资源

    您需要 登录 才可以下载或查看,没有帐号?(注-册)加入51Testing

    x
    分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
    收藏收藏
    回复

    使用道具 举报

    本版积分规则

    关闭

    站长推荐上一条 /1 下一条

    小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 关于我们

    GMT+8, 2024-11-28 06:40 , Processed in 0.065876 second(s), 24 queries .

    Powered by Discuz! X3.2

    © 2001-2024 Comsenz Inc.

    快速回复 返回顶部 返回列表