P值异常的现象与诊断
在使用statsmodels的hypothesis_test方法时，经常遇到的典型问题是P值异常——包括但不限于：
- P值恒等于1或0（边界值问题）
- P值分布偏离预期（如均匀分布）
- 与理论值存在显著偏差（如t检验中α=0.05时拒绝率异常）
核心问题根源分析
通过分析GitHub issues和Stack Overflow案例，发现主要问题集中在三个方面：
- 数据尺度问题：当变量量纲差异过大时（如年龄与收入），会导致协方差矩阵病态
- 多重共线性：自变量高度相关时，参数估计方差膨胀
- 零假设设定错误：特别是非线性约束检验时
# 错误示例：未标准化的数据
X = pd.DataFrame({'age': [25,30,35], 'income': [50000,60000,70000]})
model = OLS(y, X).fit()# 诊断方法
from statsmodels.stats.outliers_influence import variance_inflation_factor
[variance_inflation_factor(X.values, i) for i in range(X.shape[1])]# 正确示例：带非线性约束的Wald检验
hypotheses = 'x1^2 + x2^2 = 1'
test_result = model.wald_test(hypotheses)解决方案与最佳实践
| 问题类型 | 解决方案 | 实现代码 |
|---|---|---|
| 数据尺度差异 | 标准化预处理 | from sklearn.preprocessing import StandardScaler |
| 小样本问题 | 使用精确检验 | method='exact'参数 |
| 多重比较 | Bonferroni校正 | from statsmodels.sandbox.stats.multicomp import multipletests |
高级调试技巧
当常规方法失效时，可采用：
- 参数化bootstrap验证（重抽样方法）
- 蒙特卡洛模拟生成参考分布
- 检查模型残差自相关（ACF/PACF图）
典型诊断代码示例：
# 残差诊断
import matplotlib.pyplot as plt
from statsmodels.graphics.tsaplots import plot_acf
plot_acf(model.resid)
plt.show()