干货 | 数据预处理缺失值填充方法

导读

没有高质量的数据，就没有高质量的数据挖掘结果，数据值缺失是数据分析中经常遇到的问题之一。

当缺失比例很小时，可直接对缺失记录进行舍弃或进行手工处理。但在实际数据中，往往缺失数据占有相当的比重。这时如果手工处理非常低效，如果舍弃缺失记录，则会丢失大量信息，使不完全观测数据与完全观测数据间产生系统差异，对这样的数据进行分析，很可能会得出错误的结论。

因此，通过专门的方法对缺失值填充是非常必要的，下面介绍几种常用缺失值填充方法，并附上python处理代码。

示例数据是一套代谢物胆汁酸的含量数据，下面是数据预览：

对于特征值缺失的一种常见的方法就是可以用固定值来填充，例如0，9999， -9999等。

对每一条数据的缺失值，填充其前后数据的值。

根据样本之间的相似性填补缺失值是指用这些缺失值最可能的值来填补它们，通常使用能代表变量中心趋势的值进行填补，代表变量中心趋势的指标包括平均值、中位数、众数等，那么我们采用哪些指标来填补缺失值呢？

插值是离散函数逼近的重要方法，利用它可通过函数在有限个点处的取值状况，估算出函数在其他点处的近似值。与拟合不同的是，要求曲线通过所有的已知数据。下面用插值计算其中一种算法：缺失值前一个值和后一个值的平均值进行填充。

填充近邻的数据，所谓K最近邻，先利用knn计算临近的k个数据，然后填充他们的均值。

任何回归都是从特征矩阵中学习，然后求解连续型标签y的过程，之所以能够实现这个过程，是因为回归算法认为，特征矩阵和标签之前存在着某种联系。对于一个有n个特征的数据来说，其中特征T有缺失值，就把特征T当作标签，其他的n-1个特征组成新的特征矩阵。用T标签没有缺失值的部分和新特征矩阵相对应部分来预测T标签中缺失的部分。常见的回归模型-线性回归，基于完整的数据集，建立回归方程。对于包含空值的对象，将已知属性值代入方程来估计未知属性值，以此估计值来进行填充。

随机森林也可以应用到回归问题上面，取决于随机森林的每颗cart树是分类树还是回归树。它对原始数据集做很多次放回抽样，会得到很多不同的数据集，然后对于每个数据集建立一个决策树。随机森林的最终结果是所有树的结果的平均，一个新的观测值，通过许多棵树(比如n 棵)得到n 个预测值，最终用这n 个预测值的平均作为最终结果进行填充。当然还是跟上面的回归数据预处理一样，先构建训练集和预测集在进行模型预测。

总结

以上是常见的几种缺失值填充方法，具体填充方法还要根据本身数据类型和生物学意义做。

参考文章

常用缺失值填充方法

https://github.com/AHNU/fill_missing_values

sklearn机器学习：随机森林回归器RandomForestRegressor

https://blog.csdn.net/gracejpw/article/details/102611273?utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2~all~top_click~default-1-102611273.nonecase

99%的代谢组学研究者都在阅读下文：

●欲求职？想跳槽？「宝藏公司」，我们帮你挖出来了

●新机制 | 菌群+代谢告诉你，为什么盐吃太多会导致高血压？

我就知道你“在看”