数据清洗之缺失值和重复值的清洗

大数据中常见的数据质量问题主要包括缺失值、重复值以及错误值等问题。下面针对缺失值的清洗、重复值的清洗以及错误值的清洗进行讲解。

1.缺失值的清洗

缺失值的清洗方法主要分为两类，即忽略缺失值数据和填充缺失值数据。

(1)忽略缺失值数据方法是直接通过删除属性或实例忽略缺失值的数据。

(2)填充缺失值数据方法是使用最接近缺失值的值替代缺失的值，包括人工填写缺失值，使用一个全局常量填充空缺值(即将缺失的值用同一个常量Unknown替换)以及使用属性的平均值、中间值、最大(小)值填充缺失值，或使用最可能的值(即通过回归、贝叶斯形式化方法的工具或决策树归纳确定的值)填充缺失值。

2.重复值的清洗

目前清洗重复值的基本思想是“排序和合并”。清洗重复值的方法主要有相似度计算和基于基本近邻排序算法等方法。

(1)相似度计算是通过计算记录的个别属性的相似度，然后考虑每个属性的不同权重值，进行加权平均后得到记录的相似度，若两个记录相似度超过某一个阈值，则认为两条记录匹配，否则认为这两条记录指向不同的实体。

(2)基于基本近邻排序算法的核心思想是为了减少记录的比较次数，在按关键字排序后的数据集上移动一个大小固定的窗口，通过检测窗口内的记录判定它们是否相似，从而确定并处理重复记录。