为什么机器学习模型会失败？

| 2021-11-25

图0: undefined为什么机器学习模型会失败？

本文最初发表于 Towards Data Science 博客，经原作者 Delgado Panadero 授权，InfoQ 中文站翻译并分享。

本文通过一个真实的例子，分析了模型选择不当还是训练数据噪声导致了模型性能不佳。

前言

在机器学习中，当你建立和训练一个模型并检验其准确性时，一个最常见的问题就是“准确性是我能从数据中得到的最好的，还是能找到一个更好的模型呢？”

此外，一旦模型被部署，下一个常见的问题就是“为什么模型会失败？”。有时候，这两个问题都无法回答，但有时我们可以通过研究模型误差的统计分布，找出预处理错误、模型偏差，以及数据泄露等。

在本教程中，我们将解释并演示如何统计分析模型结果，以找出示例中错误的原因。

业务案例

在这个案例中，我们将使用来自 Driven Data 竞赛的数据，通过一系列社会经济变量来预测一个民族是否处于贫困状态。

这个业务案例的价值不仅在于能够用机器学习模型来预测贫困状况，而且还在于通过社会经济变量对衡量贫困状态的预测程度，并从特征上分析原因。

模型训练

数据由一组九个描述性变量组成，其中四个是类别变量，另外五个是数值变量（但其中一个似乎是一个 id，所以我们将舍弃它）。

import pandas as pd


pd.set_option('display.max_columns', None)
train = pd.read_csv('train.csv', index_col='id')
print(train)

返回结果如下：

Unnamed: 0 kjkrfgld bpowgknt raksnhjf vwpsxrgk  omtioxzz  yfmzwkru
id                                                                          
29252  2225    KfoTG    zPfZR    DtMvg      NaN      12.0      -3.0   
98286  1598    ljBjd    THHLT    DtMvg    esAQH      21.0      -2.0   
49040  7896    Lsuai    zPfZR    zeYAm    ZCIYy      12.0      -3.0   
35261  1458    KfoTG    mDadf    zeYAm    ZCIYy      12.0      -1.0   
98833  1817    KfoTG    THHLT    DtMvg    ARuYG      21.0      -4.0   


       tiwrsloh  weioazcf   poor  
id                                
29252      -1.0       0.5  False  
98286      -5.0      -9.5   True  
49040      -5.0      -9.5   True  
35261      -5.0      -9.5  False  
98833      -5.0      -9.5   True

数据分布可以在下面看到：

图由作者提供。数据集中所有特征的配对图，以目标为颜色。黄色块代表 False，紫色块表示 True。

通过某些预处理（NaN 值插补、缩放、分类编码等等），我们将对一个支持向量机模型进行训练（通常在独热编码的高维数据中工作良好）。

支持向量机

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import RobustScaler
from sklearn.neighbors import KNeighborsClassifier


model = Pipeline(steps=preprocess+[
                 ('scaler', RobustScaler()),
                 ('estimator', KNeighborsClassifier(n_neighbors=5))])


model.fit(X_train, y_train)
y_pred = model.predict(X_test)
print(classification_report(y_test,y_pred))`

返回结果如下：

precision    recall  f1-score   support


       False       0.73      0.77      0.75       891
        True       0.70      0.66      0.68       750


    accuracy                           0.72      1641
   macro avg       0.72      0.71      0.71      1641
weighted avg       0.72      0.72      0.72      1641

就二元分类问题而言，0.72 的准确率并不高。相比之下，召回率和查准率看起来是平衡的，这使得我们认为，这个模型不是一个有利于任何类别的先验偏见。

测试其他模型

想要改进这个模型，下一步就是尝试其他机器学习模型和超参数，看看我们是否找到任何可以提高性能的配置（甚至只是检查性能是否保持稳定）。

在不同的函数族集中，我们将使用另外两个模型。KNN 模型，对于学习局部模型的影响是一个很好的选择，还有梯度提升树，它也是机器学习中容量最大的模型之一。

KNN

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import RobustScaler
from sklearn.neighbors import KNeighborsClassifier


model = Pipeline(steps=preprocess+[
                 ('scaler', RobustScaler()),
                 ('estimator', KNeighborsClassifier(n_neighbors=5))])


model.fit(X_train, y_train)
y_pred = model.predict(X_test)
print(classification_report(y_test,y_pred))

返回结果如下：

precision    recall  f1-score   support


       False       0.71      0.74      0.72       891
        True       0.67      0.63      0.65       750


    accuracy                           0.69      1641
   macro avg       0.69      0.69      0.69      1641
weighted avg       0.69      0.69      0.69      1641

梯度提升

from sklearn.pipeline import Pipeline
from sklearn.ensemble import GradientBoostingClassifier


model = Pipeline(steps=preprocess+[
                 ('estimator', 
                  GradientBoostingClassifier(max_depth=5,
                                             n_estimators=100))])


model.fit(X_train, y_train)
y_pred = model.predict(X_test)
print(classification_report(y_test,y_pred))

返回结果如下：

precision    recall  f1-score   support


       False       0.76      0.78      0.77       891
        True       0.73      0.70      0.72       750


    accuracy                           0.74      1641
   macro avg       0.74      0.74      0.74      1641
weighted avg       0.74      0.74      0.74      1641

我们可以看到，其他两个模型的表现似乎都非常相似。这就提出了以下问题：

这就是我们用机器学习模型所能预测的最好结果吗？

模型预测分布

除了检查性能的一般指标外，分析模型的输出分布也很重要。不但要检查测试数据集的分布，也要检查训练数据集的分布。这是因为我们不想看到模型的表现，而是想看看它是否也学会了如何分割训练数据。

import matplotlib.pyplot as plt


pd.DataFrame(model.predict_proba(X_train))[1].hist()
plt.show()

图由作者提供。对训练集进行评估的模型输出分布。

pd.DataFrame(model.predict_proba(X_test))[1].hist()
plt.show()

图由作者提供。对测试集进行评估的模型输出分布。

可见，预测为 0 的数量具有较高的峰值，这表示存在一个数据子集，模型非常确定它的标签是 0，除此之外，分布看起来比较均匀。

如果模型知道一定要区分这两个标签，分布会有两个峰值，一个在 0 附近，另一个在 1 附近。因此，我们可以看到，模型并没有正确地学习模式来区分数据。

偏差分布

我们已经看到，该模型还没有学会明确地区分这两个类别，但我们还没有看到它是否在不自信的情况下也能猜到预测结果，还是一直失败。

此外，重要的是要检查模型是否更倾向于一类或另一类的失败。为检验这两个方面，我们可以绘制预测值与目标值偏差的分布图：

train_proba = model.predict_proba(X_train)[:,1]
pd.DataFrame(train_proba-y_train.astype(int)).hist(bins=50)
plt.show()

图由作者提供。通过训练集评估的模型置信度输出与基准真相的偏差。

test_proba = model.predict_proba(X_test)[:,1]
pd.DataFrame(test_proba-y_test.astype(int)).hist(bins=50)
plt.show()

图由作者提供。通过测试集评估的模型置信度输出与基准真相的偏差。

从这两张图中，我们可以看到，偏差分布似乎是对称的，并且以零点为中心。差距只是在零点，因为模型从来没有返回 0 和 1 的准确值，所以我们不必担心这个问题。

如果模型的误差来自于训练数据的统计/测量噪声误差，而不是偏置误差，则我们会期望偏差分布遵循高斯分布。

这一分布与高斯分布相似，在零点处有一个较高的峰值，但这个峰值可能是因为模型预测的零点数量较多（也就是说，模型已经学会了一种模式来区分 0 和 1 类别的子集）。

验证正态性

由于训练数据中存在的统计噪声，我们必须确保模型预测的偏差符合高斯分布，然后才能证明其偏差。

import scipy


scipy.stats.normaltest(train_proba-y_train.astype(int))

返回结果如下：

NormaltestResult(statistic=15.602215177113427, pvalue=0.00040928141243470884)

当 P-value=0.0004 时，我们可以假设预测与目标的偏差遵循高斯分布，这样从训练数据中的噪声导致模型误差的理论是合理的。

模型可解释性

如前所述，这一业务案例的目的不仅仅是要预测模型发生的原因，还包括与之相关的社会经济变量。

可解释的模型不仅能预测未见过的数据，还能让你了解特征如何影响模型（全局可解释性），以及为什么某些预测会如此（局部可解释性）。

尽管如此，一个模型的可解释性仍然可以帮助我们理解为什么它能做出预测，以及为什么它会失败。从梯度提升模型中，我们可以提取全局可解释性如下：

cols = X_train.columns
vals= dict(model.steps)['estimator'].feature_importances_


plt.figure()
plt.bar(cols, vals)
plt.show()

图由作者提供。梯度提升特征输入。

接下来，我们将进行相同的特征重要性分析，但是只对数据的一个子集进行训练。具体地说，我们将只使用明显为零的数据（那些模型之前明确预测为零的数据）来训练模型的零类别。

zero_mask = model.predict_proba(X_train)[:,1]<=0.1
one_mask = y_train==1
mask = np.logical_or(zero_mask,one_mask)
X_train = X_train.loc[mask,:]
y_train = y_train.loc[mask]
model.fit(X_train,y_train)

现在特征的重要性是：