协方差矩阵是距离计算、异常检测和若干统计模型的基础。样本只有几十条却有二十个特征,普通协方差估计可能接近奇异;即使只有两个特征,混入少量极端样本也可能把估计拉偏。这是两类不同的故障,不能指望一个“稳健方法”同时解决。本文安排两组独立模拟实验:高维小样本情形比较经验协方差与收缩估计;二维污染情形比较经验协方差与MinCovDet。模拟时已知真实协方差,因此能计算估计误差。真实业务通常没有这个答案,应更重视验证策略和下游任务。文章目录协方差估计不稳定会影响什么高维小样本与异常值是两种不同问题收缩估计和鲁棒估计分别怎么选用两组实验验证稳定性与下游效果估计结果异常时如何排查总结协方差估计不稳定会影响什么协方差不仅描述单个变量的波动,还描述变量之间的联动。若矩阵的某些方向被估得过小,基于逆协方差的马氏距离会对这些方向异常敏感。模型可能把正常点误报为异常,或者让微小数据改动引起很大的参数变化。诊断量本文怎么看不能单独推出的结论相对矩阵误差模拟数据已知真实协方差,可计算估计与真实值的距离真实任务通常没有真值,不能直接照搬此数值。条件数观察矩阵数值求逆是否容易受扰动条件数低不保证异常检测或分类一定更好。异常检测 AUC比较马氏距离对模拟异常点的排序能力排序好不等于实际阈值、误报成本已经合适。高维小样本与异常值是两种不同问题本例第一组只有35个样本、20个特征,样本数虽大于维数,但用于估计每个相关关系的数据仍很少。第二组只有2个特征、168个训练样本,其中18个来自宽范围均匀分布。第一组重在样本协方差的方差与病态程度,第二组重在污