做参数估计的朋友一定被问过这样一个问题你这个估计精度到底还能不能再提高一点如果模型固定、数据量固定、噪声水平也固定那答案其实从理论上早就被卡死了任何无偏估计量的方差都跑不出一个硬性下限。这个下限就是克拉美-罗界Cramer-Rao Lower BoundCRLB。我在刚接触参数估计那阵子对这个概念最大的困惑是它到底是用来干啥的公式背下来了考试也会算了但一到实际项目里面对一个具体的估计问题还是不知道CRLB能帮我做什么。后来做的东西多了才想明白——CRLB就像一个体检指标告诉你当前的数据和信息条件下最优能做到什么程度。手里有一套新算法仿真实测方差是0.02理论上限是0.01那说明还有优化的空间如果实测方差已经贴在CRLB上了那就别再折腾算法了想提高精度只能从数据端下手。这篇文章我就从我的学习视角出发把CRLB的来龙去脉、计算方法、常见坑和实操验证都串一遍。适合正在学信号处理、通信、统计估计或者机器学习理论的朋友尤其是那些公式会背但不知道怎么用的同学。1. 从一个具体例子说起为什么需要CRLB1.1 你辛辛苦苦设计的估计器到底有没有到头参数估计这件事在各种领域里太常见了。雷达测距要估计时间延迟通信接收机要估计载波频率麦克风阵列要估计声源方位传感器标定要估计偏移量甚至回归模型里的系数本质上也是参数估计。无论哪种场景工作流程都差不多先建立一个带未知参数的观测模型然后设计一个函数把观测数据换算成参数的估计值这个函数就是估计器。问题随之而来你设计了一个估计器实测效果也不错但你能说它就是最好的吗有没有可能换一种算法方差能再降一半如果没有一个天花板作参照你根本不知道自己的估计器离极限还有多远。CRLB回答的正是这个问题——在所有无偏估计器里方差最小能做到多少。举一个最朴素的例子你在实验室里测量一个稳定的直流电压仪表读数有高斯噪声。你测了100次取平均值作为最终结果。直觉告诉你测的次数越多均值越准。但到底要测多少次才能让误差小于某个阈值平均值的精度极限在哪里这些问题都能用CRLB给一个清晰的答案。1.2 先记住这个结论方差有个硬地板抛开细节不谈CRLB的核心结论可以写成一行[ \mathrm{Var}(\hat{\theta}) \ge \frac{1}{I(\theta)} ]其中 (\hat{\theta}) 是某个无偏估计量(I(\theta)) 叫Fisher信息量。也就是说在无偏这个前提下估计量的方差不可能小于Fisher信息量的倒数。理解这个公式有个非常直观的视角把似然函数想象成一座山峰。数据里包含的参数信息越多这座山峰就越尖。Fisher信息量衡量的就是似然函数的尖锐程度——越尖信息量越大方差下界就越小。换个生活化的说法就像调收音机的时候信号峰值曲线越尖锐你越能准确定位到最清晰的频率点如果峰值曲线又平又宽你怎么调都觉得差不多精度自然上不去。接下来的问题很自然Fisher信息量怎么算CRLB什么时候成立什么时候不成立下面一节就专门拆这个。2. 核心原理拆解Fisher信息量与正则条件2.1 Fisher信息量到底在度量什么Fisher信息量有两种常用的表达式[ I(\theta) \mathbb{E}\left[\left(\frac{\partial \ln p(\mathbf{x};\theta)}{\partial \theta}\right)^2\right] ]等价地[ I(\theta) -\mathbb{E}\left[\frac{\partial^2 \ln p(\mathbf{x};\theta)}{\partial \theta^2}\right] ]第二个表达式在计算中更常用因为它避开了平方再求期望的运算直接对对数似然求二阶导省不少事。两者在满足一定正则条件时是相等的我后面会专门讲这些条件。从直觉上说对数似然的一阶导告诉我们参数往哪个方向调整能更好地解释观测数据。这个导向的波动越大说明数据对参数越敏感信息量越大。而二阶导刻画的是似然函数的曲率——曲率越大峰越尖参数越容易被精确定位。这里我当初学的时候有一个绕不过去的弯信息量为什么偏要用期望原因是观测数据本身是随机的不同观测样本计算出来的梯度大小不一样因此必须把所有可能的观测结果综合起来取平均才是一个确定性的信息度量。这也意味着Fisher信息量是模型和参数的函数跟某一次具体观测无关。2.2 别乱用CRLB正则条件必须满足CRLB不是万能的。它成立需要满足几条正则条件我列在最前面对数似然函数 (\ln p(\mathbf{x};\theta)) 对 (\theta) 可导且导数与期望可交换概率密度函数的支持域即取值非零的范围与参数 (\theta) 无关Fisher信息量 (I(\theta)) 存在且为正。第二条是最容易踩坑的地方。最经典的例子就是均匀分布 (U(0,\theta))每个观测值 (x_i) 都落在 ([0,\theta]) 区间内支持域的上边界本身就是待估参数。这种条件下对数似然函数在边界处根本不可导直接用CRLB公式会得到一个非常离谱的下界甚至比真实可达的最小方差还要小得多。那怎么办遇到支持域和参数挂钩的问题CRLB这条路走不通需要用别的工具比如基于有序统计量重新推导无偏估计量的方差。这说明CRLB虽然强大但不是一个无脑套用的公式用之前必须先检查模型是否满足正则条件。除了均匀分布这类边界问题还有一些模型因为似然函数不光滑比如含有绝对值、中位数等操作同样不满足可导条件。这类问题通常要借助其他界比如贝叶斯框架下的Van Trees界或者针对特定分布的修正CRLB不过那已经是另一个大话题了。3. 计算全流程从似然函数到CRLB的实操指南3.1 手算CRLB的五步法我习惯把CRLB的计算流程固定成五步照着顺序走基本不会乱写出观测向量 (\mathbf{x}) 的联合概率密度函数 (p(\mathbf{x};\theta))也就是似然函数对似然函数取自然对数得到对数似然 (\ln p(\mathbf{x};\theta))分别求一阶导数和二阶导数矢量参数情形需要求梯度和海森矩阵计算二阶导数的负期望得到Fisher信息量Fisher信息量取倒数矢量情形取逆矩阵得到CRLB。为什么一定要用对数除了把连乘变成连加、简化求导之外对数变换不改变函数的极值位置因此在最大似然估计中非常重要。而在CRLB的计算里对数似然的一阶导平方期望还有一个很好的统计性质它对参数做了某种单位归一化使得信息量不随数据尺度随意变化。这里有个小建议能解析推导就解析推导别一上来就上数值微分。数值求导看着省事实际上误差很大尤其二阶导对噪声极其敏感。后面第4节我会专门说这个坑。3.2 完整案例高斯噪声下的直流电平估计来一个所有教科书都会讲的例子但我会把每一步都写透。假设我们观测到一个被高斯白噪声污染的直流电平[ x[n] A w[n], \quad n 0, 1, \dots, N-1 ]其中 (w[n] \sim \mathcal{N}(0, \sigma^2))且各样本独立。我们要估计参数 (A)。第一步写出联合概率密度。因为各样本独立联合密度就是每个样本密度的乘积[ p(\mathbf{x};A) \prod_{n0}^{N-1} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x[n]-A)^2}{2\sigma^2}\right) ]第二步取对数[ \ln p(\mathbf{x};A) -\frac{N}{2}\ln(2\pi\sigma^2) - \frac{1}{2\sigma^2}\sum_{n0}^{N-1}(x[n]-A)^2 ]第三步对 (A) 求一阶导和二阶导[ \frac{\partial \ln p}{\partial A} \frac{1}{\sigma^2}\sum_{n0}^{N-1}(x[n]-A) ][ \frac{\partial^2 \ln p}{\partial A^2} -\frac{N}{\sigma^2} ]第四步注意二阶导里已经没有随机变量了所以取期望就是它本身再取负号[ I(A) \frac{N}{\sigma^2} ]第五步CRLB就是信息量的倒数[ \mathrm{Var}(\hat{A}) \ge \frac{\sigma^2}{N} ]这个结果非常直观方差与噪声功率成正比与样本数成反比。也就是说想把估计误差的方差减半要么把噪声功率减半要么把观测次数翻倍。更妙的是样本均值估计器正好达到这个界。它的方差是 (\sigma^2 / N)和CRLB完全一致因此它是这个模型下的最小方差无偏估计。这也是我学的第一个有效估计量的例子。我强烈建议你在学完一个CRLB推导后马上用蒙特卡洛仿真验证一下。下面这段Python代码我跑了很多次结果非常稳定import numpy as np N 100 # 样本数 sigma 1.0 # 噪声标准差 A_true 5.0 # 真实直流电平 M 10000 # 蒙特卡洛次数 estimates [] for _ in range(M): x A_true sigma * np.random.randn(N) estimates.append(np.mean(x)) var_est np.var(estimates, ddof1) crlb sigma**2 / N print(f蒙特卡洛估计方差: {var_est:.6f}) print(fCRLB: {crlb:.6f})我实际跑出来的结果大致是方差0.0099、CRLB 0.01两者几乎贴着。注意两个细节一是蒙特卡洛次数要足够大M在几千以下的时候估计方差本身波动很大和CRLB对不上很正常二是np.var要加ddof1用样本方差而不是总体方差否则会引入系统性偏差。3.3 矢量参数情形Fisher信息矩阵与CRLB矩阵实际工程问题里很少只估一个参数。比如你要同时估计直流电平 (A) 和噪声方差 (\sigma^2)这时候CRLB要推广成矩阵形式。设参数矢量 (\boldsymbol{\theta} [A, \sigma^2]^T)Fisher信息矩阵定义为[ [\mathbf{I}(\boldsymbol{\theta})]_{ij} -\mathbb{E}\left[\frac{\partial^2 \ln p(\mathbf{x};\boldsymbol{\theta})}{\partial \theta_i \partial \theta_j}\right] ]然后对信息矩阵取逆对角线元素就是对应参数方差的CRLB。还是用上面那个高斯直流模型这次把 (\sigma^2) 也当成未知参数。用 (v) 表示 (\sigma^2) 来简化记号。三个二阶导分别是[ \frac{\partial^2 \ln p}{\partial A^2} -\frac{N}{v} ][ \frac{\partial^2 \ln p}{\partial A \partial v} -\frac{1}{v^2}\sum_{n0}^{N-1}(x[n]-A) ][ \frac{\partial^2 \ln p}{\partial v^2} \frac{N}{2v^2} - \frac{1}{v^3}\sum_{n0}^{N-1}(x[n]-A)^2 ]对第二式取期望因为 (\mathbb{E}[x[n]-A] 0)所以交叉项为0。第三式取期望时注意 (\mathbb{E}[(x[n]-A)^2] v)所以期望是 (N/(2v^2) - Nv/v^3 -N/(2v^2))。全部取负号后得到信息矩阵[ \mathbf{I}(A, v) \begin{bmatrix} N/v 0 \ 0 N/(2v^2) \end{bmatrix} ]求逆得到[ \mathbf{I}^{-1}(A, v) \begin{bmatrix} v/N 0 \ 0 2v^2/N \end{bmatrix} ]所以 (\mathrm{Var}(\hat{A}) \ge v/N)(\mathrm{Var}(\hat{v}) \ge 2v^2/N)。第一个结果和单参数情形一致说明同时估计多个参数并不会让电平估计的CRLB变差——这个模型的交叉信息为0两个参数的信息互不干扰。这里有个容易记混的细节(2v^2/N) 是噪声方差 (\sigma^2) 的估计方差下界。如果你关心的是标准差 (\sigma) 本身需要做个变换下界会变成 (\sigma^2/(2N))而不是直接开根号的关系。多参数CRLB的变换要用雅可比矩阵来处理这也是一个常被忽略的考点。3.4 进阶案例正弦频率估计的CRLB最后看一个更有工程意义的例子因为频率估计在通信、雷达、音频领域无处不在。模型是[ x[n] A\cos(\omega_0 n \phi) w[n], \quad n 0, 1, \dots, N-1 ]其中噪声是高斯白噪声幅度 (A)、相位 (\phi)、频率 (\omega_0) 都未知。在大样本条件下频率估计的CRLB近似为[ \mathrm{Var}(\hat{\omega}_0) \ge \frac{12\sigma^2}{A^2 N (N^2 - 1)} ]这个公式透露了很多信息。频率估计的方差下限与 (N^3) 成反比这意味着在低信噪比环境下延长观测时间对频率估计精度的提升效果非常显著比单纯提高信噪比更有效。另外频率估计的CRLB通常很难达到因为似然函数在频率维度上有很多局部极大值栅瓣效应大部分估计器会被困在错误的山峰上实际方差远大于CRLB。我自己的体会是遇到这类非线性参数估计问题CRLB更像是一个理想路况下的理论油耗现实中很难达到但它仍然很有价值它告诉你如果要把方差降低到某个目标大概需要多长的观测数据、多高的信噪比。这个信息在做系统设计的时候非常关键。4. 常见问题与排查技巧实录4.1 我的CRLB算出来是负的这个问题的根源几乎都是符号错误。Fisher信息量取的是二阶导的负期望很多人求完二阶导之后忘了加负号结果算出个负数。检查方法很简单Fisher信息量本质上是非负的如果算出来是负的先回头看一下二阶导的符号写对没有。另外有人会把两种Fisher信息表达式搞混。用一阶导平方期望和用负二阶导期望两者在正则条件下等价但如果你混合使用——比如用了一阶导的公式却忘了平方或者在二阶导形式里没有处理负号——就会出错。我建议初学者固定用负二阶导这一条路因为它计算量小也最不容易出意外。4.2 CRLB与实际仿真方差对不上这是最让人头疼的情况但通常可以按下面的清单排查估计器是有偏的吗CRLB只对无偏估计量有意义。某些最大似然估计在有限样本下是有偏的这时实测方差低于CRLB也是有可能的有偏估计可以突破无偏下界但这时候再用CRLB当参照就失去了意义。模型匹配吗仿真里的噪声真的服从高斯分布吗是白噪声吗如果噪声有色或者分布有拖尾CRLB需要按真实分布重新推导。支持域与参数有关吗前面说的 (U(0,\theta)) 反例就是这类问题。蒙特卡洛次数够吗用有限的仿真次数去估计方差本身就会引入波动。次数太少方差估计量的波动可能比估计量本身的方差还大对不上很正常。我自己有个经验CRLB和仿真对不上的时候先别急着怀疑算法先花10分钟检查模型里噪声的生成方式和分布假设。很多时候问题出在你以为的模型和代码里的模型不一致。4.3 怎么判断我的估计量是不是已经最优了定义一个效率系数[ e(\hat{\theta}) \frac{\mathrm{CRLB}(\theta)}{\mathrm{Var}(\hat{\theta})} ]效率越接近1说明估计量越接近最优。如果某个估计量达到 (e1)就称它为有效估计量。比如高斯直流电平场景下的样本均值就是一个有效估计量。如果效率明显低于1有两种可能一是这个估计器还有改进空间可以考虑换用最大似然估计二是CRLB本身太松下界太低实际上达不到。第二种情况在非线性问题里更常见。还有一个很有用的理论结论最大似然估计MLE在正则条件下是渐近有效的——样本量足够大时它的方差会逼近CRLB。这也就是为什么MLE在工程实践里这么受欢迎它给了一个在不知道最优估计器长什么样时至少可以渐近达到理论界的通用套路。4.4 几个常见场景的CRLB速查表我把推导过的几个结果整理成一个速查表方便以后直接查观测模型待估参数CRLB备注(x[n] A w[n])(w[n]\sim\mathcal{N}(0,\sigma^2))直流电平 (A)(\sigma^2 / N)样本均值达到CRLB同上但 (\sigma^2) 也未知噪声方差 (\sigma^2)(2\sigma^4 / N)估计(\sigma^2)的方差下界同上但 (\sigma^2) 也未知标准差 (\sigma)(\sigma^2 / (2N))需要用雅可比变换(x[n] A\cos(\omega_0 n \phi) w[n])频率 (\omega_0)(12\sigma^2 / (A^2 N (N^2-1)))大样本近似通常难达到这张表里有几个数字值得记住方差估计的下界是 (2\sigma^4/N)这意味着估计噪声方差比估计均值要难得多。同样样本量下估计方差的相对波动仍然很大这在实际工程里体现得很明显——比如你测量噪声功率就算测了1000个点结果还是可能上下浮动百分之十几。4.5 数值仿真中容易忽略的细节最后分享几个我在实际仿真中踩过的坑。第一不要用数值差分计算Fisher信息。我看到有人为了省事用中心差分近似二阶导结果算出来的CRLB飘忽不定。原因是数值二阶导对步长极其敏感步长太大截断误差大步长太小浮点舍入误差大。除非模型复杂到解析推导实在搞不定否则还是老老实实手推对数似然的导数或者用自动微分工具。第二蒙特卡洛仿真验证CRLB时估计量的方差本身也有方差。也就是说你做了M次蒙特卡洛得到的方法差是一个随机量它自己和CRLB还有一定偏差。想判断估计器是否达到CRLB不要只看一次仿真的结果最好多做几组或者增大M到10^5级别再下结论。第三注意CRLB的单位。频率估计那栏的CRLB单位是弧度平方不是赫兹平方。如果你用的是归一化频率或者Hz单位需要做相应的缩放变换。单位搞错的话仿真结果和CRLB对不上会白白浪费很多排查时间。回到文章开头的问题你设计的估计器到底还有没有提升空间我的习惯是拿到一个估计问题后第一件事不是急着写算法而是先把模型写清楚推导CRLB心里有数以后再动手。CRLB像是给你画了一条及格线——如果算法连及格线都达不到那说明还有得改如果已经在及格线附近那就老老实实从数据、硬件或者系统设计上想办法。当年我第一次推导高斯直流电平的CRLB时觉得这公式也太简单了没什么了不起。直到后来做频率估计用CRLB做了一轮系统参数折中设计才意识到这个简单公式在工程决策里的分量。它不直接给你最优估计器但它给了你一把尺子让你能衡量任何估计器的好坏也让你在项目评审会上被问到精度还能不能更高的时候能理直气壮地回答按照当前模型和信噪比这已经是最优了。如果你正在学这一块我的建议是每个模型都亲手推一遍CRLB再用蒙特卡洛仿真验证一遍。推公式练的是数学基本功仿真验证练的是工程直觉两者缺一不可。推完几个典型例子之后你会发现很多估计问题在动手之前答案已经写在CRLB里了。
克拉美-罗界详解：参数估计精度的理论极限
做参数估计的朋友一定被问过这样一个问题你这个估计精度到底还能不能再提高一点如果模型固定、数据量固定、噪声水平也固定那答案其实从理论上早就被卡死了任何无偏估计量的方差都跑不出一个硬性下限。这个下限就是克拉美-罗界Cramer-Rao Lower BoundCRLB。我在刚接触参数估计那阵子对这个概念最大的困惑是它到底是用来干啥的公式背下来了考试也会算了但一到实际项目里面对一个具体的估计问题还是不知道CRLB能帮我做什么。后来做的东西多了才想明白——CRLB就像一个体检指标告诉你当前的数据和信息条件下最优能做到什么程度。手里有一套新算法仿真实测方差是0.02理论上限是0.01那说明还有优化的空间如果实测方差已经贴在CRLB上了那就别再折腾算法了想提高精度只能从数据端下手。这篇文章我就从我的学习视角出发把CRLB的来龙去脉、计算方法、常见坑和实操验证都串一遍。适合正在学信号处理、通信、统计估计或者机器学习理论的朋友尤其是那些公式会背但不知道怎么用的同学。1. 从一个具体例子说起为什么需要CRLB1.1 你辛辛苦苦设计的估计器到底有没有到头参数估计这件事在各种领域里太常见了。雷达测距要估计时间延迟通信接收机要估计载波频率麦克风阵列要估计声源方位传感器标定要估计偏移量甚至回归模型里的系数本质上也是参数估计。无论哪种场景工作流程都差不多先建立一个带未知参数的观测模型然后设计一个函数把观测数据换算成参数的估计值这个函数就是估计器。问题随之而来你设计了一个估计器实测效果也不错但你能说它就是最好的吗有没有可能换一种算法方差能再降一半如果没有一个天花板作参照你根本不知道自己的估计器离极限还有多远。CRLB回答的正是这个问题——在所有无偏估计器里方差最小能做到多少。举一个最朴素的例子你在实验室里测量一个稳定的直流电压仪表读数有高斯噪声。你测了100次取平均值作为最终结果。直觉告诉你测的次数越多均值越准。但到底要测多少次才能让误差小于某个阈值平均值的精度极限在哪里这些问题都能用CRLB给一个清晰的答案。1.2 先记住这个结论方差有个硬地板抛开细节不谈CRLB的核心结论可以写成一行[ \mathrm{Var}(\hat{\theta}) \ge \frac{1}{I(\theta)} ]其中 (\hat{\theta}) 是某个无偏估计量(I(\theta)) 叫Fisher信息量。也就是说在无偏这个前提下估计量的方差不可能小于Fisher信息量的倒数。理解这个公式有个非常直观的视角把似然函数想象成一座山峰。数据里包含的参数信息越多这座山峰就越尖。Fisher信息量衡量的就是似然函数的尖锐程度——越尖信息量越大方差下界就越小。换个生活化的说法就像调收音机的时候信号峰值曲线越尖锐你越能准确定位到最清晰的频率点如果峰值曲线又平又宽你怎么调都觉得差不多精度自然上不去。接下来的问题很自然Fisher信息量怎么算CRLB什么时候成立什么时候不成立下面一节就专门拆这个。2. 核心原理拆解Fisher信息量与正则条件2.1 Fisher信息量到底在度量什么Fisher信息量有两种常用的表达式[ I(\theta) \mathbb{E}\left[\left(\frac{\partial \ln p(\mathbf{x};\theta)}{\partial \theta}\right)^2\right] ]等价地[ I(\theta) -\mathbb{E}\left[\frac{\partial^2 \ln p(\mathbf{x};\theta)}{\partial \theta^2}\right] ]第二个表达式在计算中更常用因为它避开了平方再求期望的运算直接对对数似然求二阶导省不少事。两者在满足一定正则条件时是相等的我后面会专门讲这些条件。从直觉上说对数似然的一阶导告诉我们参数往哪个方向调整能更好地解释观测数据。这个导向的波动越大说明数据对参数越敏感信息量越大。而二阶导刻画的是似然函数的曲率——曲率越大峰越尖参数越容易被精确定位。这里我当初学的时候有一个绕不过去的弯信息量为什么偏要用期望原因是观测数据本身是随机的不同观测样本计算出来的梯度大小不一样因此必须把所有可能的观测结果综合起来取平均才是一个确定性的信息度量。这也意味着Fisher信息量是模型和参数的函数跟某一次具体观测无关。2.2 别乱用CRLB正则条件必须满足CRLB不是万能的。它成立需要满足几条正则条件我列在最前面对数似然函数 (\ln p(\mathbf{x};\theta)) 对 (\theta) 可导且导数与期望可交换概率密度函数的支持域即取值非零的范围与参数 (\theta) 无关Fisher信息量 (I(\theta)) 存在且为正。第二条是最容易踩坑的地方。最经典的例子就是均匀分布 (U(0,\theta))每个观测值 (x_i) 都落在 ([0,\theta]) 区间内支持域的上边界本身就是待估参数。这种条件下对数似然函数在边界处根本不可导直接用CRLB公式会得到一个非常离谱的下界甚至比真实可达的最小方差还要小得多。那怎么办遇到支持域和参数挂钩的问题CRLB这条路走不通需要用别的工具比如基于有序统计量重新推导无偏估计量的方差。这说明CRLB虽然强大但不是一个无脑套用的公式用之前必须先检查模型是否满足正则条件。除了均匀分布这类边界问题还有一些模型因为似然函数不光滑比如含有绝对值、中位数等操作同样不满足可导条件。这类问题通常要借助其他界比如贝叶斯框架下的Van Trees界或者针对特定分布的修正CRLB不过那已经是另一个大话题了。3. 计算全流程从似然函数到CRLB的实操指南3.1 手算CRLB的五步法我习惯把CRLB的计算流程固定成五步照着顺序走基本不会乱写出观测向量 (\mathbf{x}) 的联合概率密度函数 (p(\mathbf{x};\theta))也就是似然函数对似然函数取自然对数得到对数似然 (\ln p(\mathbf{x};\theta))分别求一阶导数和二阶导数矢量参数情形需要求梯度和海森矩阵计算二阶导数的负期望得到Fisher信息量Fisher信息量取倒数矢量情形取逆矩阵得到CRLB。为什么一定要用对数除了把连乘变成连加、简化求导之外对数变换不改变函数的极值位置因此在最大似然估计中非常重要。而在CRLB的计算里对数似然的一阶导平方期望还有一个很好的统计性质它对参数做了某种单位归一化使得信息量不随数据尺度随意变化。这里有个小建议能解析推导就解析推导别一上来就上数值微分。数值求导看着省事实际上误差很大尤其二阶导对噪声极其敏感。后面第4节我会专门说这个坑。3.2 完整案例高斯噪声下的直流电平估计来一个所有教科书都会讲的例子但我会把每一步都写透。假设我们观测到一个被高斯白噪声污染的直流电平[ x[n] A w[n], \quad n 0, 1, \dots, N-1 ]其中 (w[n] \sim \mathcal{N}(0, \sigma^2))且各样本独立。我们要估计参数 (A)。第一步写出联合概率密度。因为各样本独立联合密度就是每个样本密度的乘积[ p(\mathbf{x};A) \prod_{n0}^{N-1} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x[n]-A)^2}{2\sigma^2}\right) ]第二步取对数[ \ln p(\mathbf{x};A) -\frac{N}{2}\ln(2\pi\sigma^2) - \frac{1}{2\sigma^2}\sum_{n0}^{N-1}(x[n]-A)^2 ]第三步对 (A) 求一阶导和二阶导[ \frac{\partial \ln p}{\partial A} \frac{1}{\sigma^2}\sum_{n0}^{N-1}(x[n]-A) ][ \frac{\partial^2 \ln p}{\partial A^2} -\frac{N}{\sigma^2} ]第四步注意二阶导里已经没有随机变量了所以取期望就是它本身再取负号[ I(A) \frac{N}{\sigma^2} ]第五步CRLB就是信息量的倒数[ \mathrm{Var}(\hat{A}) \ge \frac{\sigma^2}{N} ]这个结果非常直观方差与噪声功率成正比与样本数成反比。也就是说想把估计误差的方差减半要么把噪声功率减半要么把观测次数翻倍。更妙的是样本均值估计器正好达到这个界。它的方差是 (\sigma^2 / N)和CRLB完全一致因此它是这个模型下的最小方差无偏估计。这也是我学的第一个有效估计量的例子。我强烈建议你在学完一个CRLB推导后马上用蒙特卡洛仿真验证一下。下面这段Python代码我跑了很多次结果非常稳定import numpy as np N 100 # 样本数 sigma 1.0 # 噪声标准差 A_true 5.0 # 真实直流电平 M 10000 # 蒙特卡洛次数 estimates [] for _ in range(M): x A_true sigma * np.random.randn(N) estimates.append(np.mean(x)) var_est np.var(estimates, ddof1) crlb sigma**2 / N print(f蒙特卡洛估计方差: {var_est:.6f}) print(fCRLB: {crlb:.6f})我实际跑出来的结果大致是方差0.0099、CRLB 0.01两者几乎贴着。注意两个细节一是蒙特卡洛次数要足够大M在几千以下的时候估计方差本身波动很大和CRLB对不上很正常二是np.var要加ddof1用样本方差而不是总体方差否则会引入系统性偏差。3.3 矢量参数情形Fisher信息矩阵与CRLB矩阵实际工程问题里很少只估一个参数。比如你要同时估计直流电平 (A) 和噪声方差 (\sigma^2)这时候CRLB要推广成矩阵形式。设参数矢量 (\boldsymbol{\theta} [A, \sigma^2]^T)Fisher信息矩阵定义为[ [\mathbf{I}(\boldsymbol{\theta})]_{ij} -\mathbb{E}\left[\frac{\partial^2 \ln p(\mathbf{x};\boldsymbol{\theta})}{\partial \theta_i \partial \theta_j}\right] ]然后对信息矩阵取逆对角线元素就是对应参数方差的CRLB。还是用上面那个高斯直流模型这次把 (\sigma^2) 也当成未知参数。用 (v) 表示 (\sigma^2) 来简化记号。三个二阶导分别是[ \frac{\partial^2 \ln p}{\partial A^2} -\frac{N}{v} ][ \frac{\partial^2 \ln p}{\partial A \partial v} -\frac{1}{v^2}\sum_{n0}^{N-1}(x[n]-A) ][ \frac{\partial^2 \ln p}{\partial v^2} \frac{N}{2v^2} - \frac{1}{v^3}\sum_{n0}^{N-1}(x[n]-A)^2 ]对第二式取期望因为 (\mathbb{E}[x[n]-A] 0)所以交叉项为0。第三式取期望时注意 (\mathbb{E}[(x[n]-A)^2] v)所以期望是 (N/(2v^2) - Nv/v^3 -N/(2v^2))。全部取负号后得到信息矩阵[ \mathbf{I}(A, v) \begin{bmatrix} N/v 0 \ 0 N/(2v^2) \end{bmatrix} ]求逆得到[ \mathbf{I}^{-1}(A, v) \begin{bmatrix} v/N 0 \ 0 2v^2/N \end{bmatrix} ]所以 (\mathrm{Var}(\hat{A}) \ge v/N)(\mathrm{Var}(\hat{v}) \ge 2v^2/N)。第一个结果和单参数情形一致说明同时估计多个参数并不会让电平估计的CRLB变差——这个模型的交叉信息为0两个参数的信息互不干扰。这里有个容易记混的细节(2v^2/N) 是噪声方差 (\sigma^2) 的估计方差下界。如果你关心的是标准差 (\sigma) 本身需要做个变换下界会变成 (\sigma^2/(2N))而不是直接开根号的关系。多参数CRLB的变换要用雅可比矩阵来处理这也是一个常被忽略的考点。3.4 进阶案例正弦频率估计的CRLB最后看一个更有工程意义的例子因为频率估计在通信、雷达、音频领域无处不在。模型是[ x[n] A\cos(\omega_0 n \phi) w[n], \quad n 0, 1, \dots, N-1 ]其中噪声是高斯白噪声幅度 (A)、相位 (\phi)、频率 (\omega_0) 都未知。在大样本条件下频率估计的CRLB近似为[ \mathrm{Var}(\hat{\omega}_0) \ge \frac{12\sigma^2}{A^2 N (N^2 - 1)} ]这个公式透露了很多信息。频率估计的方差下限与 (N^3) 成反比这意味着在低信噪比环境下延长观测时间对频率估计精度的提升效果非常显著比单纯提高信噪比更有效。另外频率估计的CRLB通常很难达到因为似然函数在频率维度上有很多局部极大值栅瓣效应大部分估计器会被困在错误的山峰上实际方差远大于CRLB。我自己的体会是遇到这类非线性参数估计问题CRLB更像是一个理想路况下的理论油耗现实中很难达到但它仍然很有价值它告诉你如果要把方差降低到某个目标大概需要多长的观测数据、多高的信噪比。这个信息在做系统设计的时候非常关键。4. 常见问题与排查技巧实录4.1 我的CRLB算出来是负的这个问题的根源几乎都是符号错误。Fisher信息量取的是二阶导的负期望很多人求完二阶导之后忘了加负号结果算出个负数。检查方法很简单Fisher信息量本质上是非负的如果算出来是负的先回头看一下二阶导的符号写对没有。另外有人会把两种Fisher信息表达式搞混。用一阶导平方期望和用负二阶导期望两者在正则条件下等价但如果你混合使用——比如用了一阶导的公式却忘了平方或者在二阶导形式里没有处理负号——就会出错。我建议初学者固定用负二阶导这一条路因为它计算量小也最不容易出意外。4.2 CRLB与实际仿真方差对不上这是最让人头疼的情况但通常可以按下面的清单排查估计器是有偏的吗CRLB只对无偏估计量有意义。某些最大似然估计在有限样本下是有偏的这时实测方差低于CRLB也是有可能的有偏估计可以突破无偏下界但这时候再用CRLB当参照就失去了意义。模型匹配吗仿真里的噪声真的服从高斯分布吗是白噪声吗如果噪声有色或者分布有拖尾CRLB需要按真实分布重新推导。支持域与参数有关吗前面说的 (U(0,\theta)) 反例就是这类问题。蒙特卡洛次数够吗用有限的仿真次数去估计方差本身就会引入波动。次数太少方差估计量的波动可能比估计量本身的方差还大对不上很正常。我自己有个经验CRLB和仿真对不上的时候先别急着怀疑算法先花10分钟检查模型里噪声的生成方式和分布假设。很多时候问题出在你以为的模型和代码里的模型不一致。4.3 怎么判断我的估计量是不是已经最优了定义一个效率系数[ e(\hat{\theta}) \frac{\mathrm{CRLB}(\theta)}{\mathrm{Var}(\hat{\theta})} ]效率越接近1说明估计量越接近最优。如果某个估计量达到 (e1)就称它为有效估计量。比如高斯直流电平场景下的样本均值就是一个有效估计量。如果效率明显低于1有两种可能一是这个估计器还有改进空间可以考虑换用最大似然估计二是CRLB本身太松下界太低实际上达不到。第二种情况在非线性问题里更常见。还有一个很有用的理论结论最大似然估计MLE在正则条件下是渐近有效的——样本量足够大时它的方差会逼近CRLB。这也就是为什么MLE在工程实践里这么受欢迎它给了一个在不知道最优估计器长什么样时至少可以渐近达到理论界的通用套路。4.4 几个常见场景的CRLB速查表我把推导过的几个结果整理成一个速查表方便以后直接查观测模型待估参数CRLB备注(x[n] A w[n])(w[n]\sim\mathcal{N}(0,\sigma^2))直流电平 (A)(\sigma^2 / N)样本均值达到CRLB同上但 (\sigma^2) 也未知噪声方差 (\sigma^2)(2\sigma^4 / N)估计(\sigma^2)的方差下界同上但 (\sigma^2) 也未知标准差 (\sigma)(\sigma^2 / (2N))需要用雅可比变换(x[n] A\cos(\omega_0 n \phi) w[n])频率 (\omega_0)(12\sigma^2 / (A^2 N (N^2-1)))大样本近似通常难达到这张表里有几个数字值得记住方差估计的下界是 (2\sigma^4/N)这意味着估计噪声方差比估计均值要难得多。同样样本量下估计方差的相对波动仍然很大这在实际工程里体现得很明显——比如你测量噪声功率就算测了1000个点结果还是可能上下浮动百分之十几。4.5 数值仿真中容易忽略的细节最后分享几个我在实际仿真中踩过的坑。第一不要用数值差分计算Fisher信息。我看到有人为了省事用中心差分近似二阶导结果算出来的CRLB飘忽不定。原因是数值二阶导对步长极其敏感步长太大截断误差大步长太小浮点舍入误差大。除非模型复杂到解析推导实在搞不定否则还是老老实实手推对数似然的导数或者用自动微分工具。第二蒙特卡洛仿真验证CRLB时估计量的方差本身也有方差。也就是说你做了M次蒙特卡洛得到的方法差是一个随机量它自己和CRLB还有一定偏差。想判断估计器是否达到CRLB不要只看一次仿真的结果最好多做几组或者增大M到10^5级别再下结论。第三注意CRLB的单位。频率估计那栏的CRLB单位是弧度平方不是赫兹平方。如果你用的是归一化频率或者Hz单位需要做相应的缩放变换。单位搞错的话仿真结果和CRLB对不上会白白浪费很多排查时间。回到文章开头的问题你设计的估计器到底还有没有提升空间我的习惯是拿到一个估计问题后第一件事不是急着写算法而是先把模型写清楚推导CRLB心里有数以后再动手。CRLB像是给你画了一条及格线——如果算法连及格线都达不到那说明还有得改如果已经在及格线附近那就老老实实从数据、硬件或者系统设计上想办法。当年我第一次推导高斯直流电平的CRLB时觉得这公式也太简单了没什么了不起。直到后来做频率估计用CRLB做了一轮系统参数折中设计才意识到这个简单公式在工程决策里的分量。它不直接给你最优估计器但它给了你一把尺子让你能衡量任何估计器的好坏也让你在项目评审会上被问到精度还能不能更高的时候能理直气壮地回答按照当前模型和信噪比这已经是最优了。如果你正在学这一块我的建议是每个模型都亲手推一遍CRLB再用蒙特卡洛仿真验证一遍。推公式练的是数学基本功仿真验证练的是工程直觉两者缺一不可。推完几个典型例子之后你会发现很多估计问题在动手之前答案已经写在CRLB里了。
