缺失数据处理方法概述

你是否注意到，尽管你已经掌握了许多关于缺失数据填补的技巧，但在每次进行数据分析时，依然难以确定具体采用哪种补全方式？或许原因在于你仍停留在技术操作层面，而未深入理解其中的内在逻辑关系。因此，请继续阅读以下内容。

首先我们需要明确的是，没有任何一种方法可以完美地解决缺失数据问题。不同的问题需要采用不同的数据插补方式——如时间序列分析、机器学习、回归模型等，这些方法很难提供一个普适性的解决方案。但这并不意味着缺乏任何规律可循。在此，我将尝试串联一些关键点，总结最常用的方法，并寻找一种结构化的处理方式。

一、识别缺失属性

数据缺失是无法避免的现象。无论缺失程度如何严重，最关键的是了解缺失数据的性质。根据缺失数据的随机性特征，可以将其划分为三类：

• 完全随机缺失（missing completely at random, MCAR）：指数据的丢失是完全随机发生的，并不依赖于任何不完整或完整的变量，不会影响样本的整体无偏性。例如家庭地址信息的遗漏。
• 随机缺失（missing at random, MAR）：指数据的丢失并非完全随机发生，而是与某些其他完整变量存在关联。例如财务信息的遗漏可能与企业的规模相关。
• 非随机缺失（missing not at random, MNAR）：指数据的丢失与该变量本身的取值相关联。例如高收入人群可能不愿意透露其家庭收入情况。