问题现象与背景
在数据预处理阶段，当我们使用scikit-learn库的SimpleImputer处理缺失值时，经常遇到ValueError: Input contains NaN, infinity or a value too large for dtype('float64')错误。这个报错表明输入数据X中包含缺失值，但实际情况是开发者往往已经确认数据不存在缺失值。
错误深层原因分析
- 隐式缺失值：数据中可能存在
NaN、inf或-inf等非显式缺失值 - 数据类型不匹配：整型数组中的
NaN会被自动转换为浮点型 - 稀疏矩阵问题：当使用稀疏矩阵时默认填充策略可能失效
- 版本兼容性：不同scikit-learn版本对缺失值处理存在差异
5种解决方案对比
# 方案1：强制转换数据类型
import numpy as np
from sklearn.impute import SimpleImputer
X = X.astype(np.float64)
imputer = SimpleImputer(strategy='mean')
X_imputed = imputer.fit_transform(X)| 方案 | 适用场景 | 优缺点 |
|---|---|---|
| 显式类型转换 | 整型数据包含NaN | 简单直接，但可能增加内存占用 |
| 参数missing_values | 自定义缺失值标识 | 灵活，但需要明确缺失值形式 |
最佳实践建议
- 预处理阶段使用
pandas.DataFrame.isna()全面检查数据 - 对于分类变量，推荐使用
strategy='most_frequent' - 考虑使用
KNNImputer处理非线性关系数据
进阶技巧
当处理大规模数据集时，可以结合ColumnTransformer实现不同列的不同填充策略：
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline
numeric_transformer = Pipeline(steps=[
('imputer', SimpleImputer(strategy='median')),
('scaler', StandardScaler())])
preprocessor = ColumnTransformer(
transformers=[
('num', numeric_transformer, numeric_features),
('cat', categorical_transformer, categorical_features)])