悠悠小仙仙 发表于 2017-7-4 16:10:35

机器学习过度拟合问题一些原因

这几天在训练一个文本处理的机器学习算法,使用支持向量机和决策树算法在训练集上的数据的准确度特别高,但是在测试集上的数据的准确度确很低,于是陷入过度拟合的烦恼中,查找资料发现一些多度拟合的看法。仔细想想确实在训练时存在一些问题,第一:输入变量多,由于缺乏对问题的根本认识,使用了很多无关变量,这个问题打算从其它途径先认识变量和问题的关系;第二:数据的噪声可能是比较大,没有考虑到关键的特征和信息。下面的几段文字是一些关于多度拟合的认识:
过度拟合(overfitting)是指数据模型在训练集里表现非常满意,但是一旦应用到真实业务实践时,效果大打折扣;换成学术化语言描述,就是模型对样本数据拟合非常好,但是对于样本数据外的应用数据,拟合效果非常差。在我们数据分析挖掘业务实践中,就是“模型搭建时表现看上去非常好,但是应用到具体业务实践时,模型效果显著下降,包括准确率、精度、效果等等显著下降”。
我自己见识有限,目光短浅,无法穷举主要的原因和避免的方法,只能班门弄斧,抛砖引玉,说说我自己的一孔之见了,期待各位的指正和增补,我给各位献丑了。
过拟合的第一个原因,就是建模样本抽取错误,包括(但不限于)样本数量太少,抽样方法错误,抽样时没有足够正确考虑业务场景或业务特点,等等导致抽出的样本数据不能有效足够代表业务逻辑或业务场景;
过拟合的第二个原因,就是样本里的噪音数据干扰过大,大到模型过分记住了噪音特征,反而忽略了真实的输入输出间的关系;
过拟合的第三个原因,就是在决策树模型搭建中,如果我们对于决策树的生长没有合理的限制和修剪的话,决策树的自由生长有可能每片叶子里只包含单纯的事件数据(event)或非事件数据(no event),可以想象,这种决策树当然可以完美匹配(拟合)训练数据,但是一旦应用到新的业务真实数据时,效果是一塌糊涂。
过拟合的第四个原因,就是建模时的“逻辑假设”到了模型应用时已经不能成立了。任何预测模型都是在假设的基础上才可以搭建和应用的,常用的假设包括:假设历史数据可以推测未来,假设业务环节没有发生显著变化,假设建模数据与后来的应用数据是相似的,等等。如果上述假设违反了业务场景的话,根据这些假设搭建的模型当然是无法有效应用的。
过拟合的第五个原因,就是建模时使用了太多的输入变量,这跟上面第二点(噪音数据)有些类似,数据挖掘新人常常犯这个错误,自己不做分析判断,把所有的变量交给软件或者机器去“撞大运”。须知,一个稳定优良的模型一定要遵循建模输入变量“少而精”的原则的。
上面的原因都是现象,但是其本质只有一个,那就是“业务理解错误造成的”,无论是抽样,还是噪音,还是决策树,神经网络等等,如果我们对于业务背景和业务知识非常了解,非常透彻的话,一定是可以避免绝大多数过拟合现象产生的。因为在模型从确定需求,到思路讨论,到搭建,到业务应用验证,各个环节都是可以用业务敏感来防止过拟合于未然的。
入世,出世,都是一样的“道”,所谓“道”从来不离开我们半步,只是看我们自身是否足够清净,足够醒悟,足够真实而已。佛法有八万四千法门,但是这些林林总总的都是不同的方便路径,归根结底,佛法的根本只是“认识我们与生俱来的本来面目,真如自性”而已。
过拟合的产生,原因种种,不一而足,但是这种分类和剖析只是人为的方便而已,防止过拟合的终极思路就是真正透彻理解业务背景和业务逻辑,有了这个根本,我们一定可以正确抽样,一定可以发现排除噪声数据,一定可以在决策树、神经网络等算法中有效防止过拟合产生的。
当然,除了上面“业务透彻了解”这个根本外,也有一些技术层面的方法来防止过拟合的产生,虽然是“术”的层面,但是很多人热衷于这些技巧,所以,在这里也顺便列举如下:
最基本的技术手段,就是合理、有效抽样;包括分层抽样,过抽样,等等,用不同的样本去检验模型;
另外,事前准备几个不同时间窗口,不同范围的测试数据集、验证数据集,把模型在不同的数据集里分别“交叉检验”,是目前业界防止过拟合的最常用的手段了;
第三,建模时目标观测值的数量太少,如何分割训练集和验证集的比例,需要建模人员灵活掌握;
第四,如果数据太少的话,谨慎使用神经网络模型,只有足够多的数据的情况下,神经网络模型才可以有效防止过拟合的产生。并且,使用神经网络时,一定要事先有效筛选输入变量,千万不能一股脑把所有变量放进去。
说一千,道一万,上面的文字都只是文字而已,如何防止过拟合,这个最终只能靠你在实践中自己去体会,去摸索,去感觉。这个世界上,把佛法,佛学挂在嘴边的人比比皆是,少有人能真正“信、解、行、证”,所以成佛作祖在我们这个时代实在是太稀有太罕见了。我自己也惭愧至极,罗里啰嗦,胡说八道总结了这些过拟合的原因和防止对策,但是我自己又对数据挖掘实践应用了解多少呢?我又有什么资格在这里夸夸其谈呢?我这几天一直在思考“互联网行业数据化运营的桎梏”,在总结种种数据化运营效果不好的原因时,也忘记了“过拟合”这个技术层面,可见我也只会嘴上夸夸其谈,行动上没有半点功夫,我对自己充满了鄙视。

lsekfe 发表于 2017-7-5 10:02:21

一劳永逸确实如此!
页: [1]
查看完整版本: 机器学习过度拟合问题一些原因