Fisher information

 

定义

在数理统计中，Fisher information是一种衡量“随机观测样本携带的关于未知参数的信息量”的方法，其中为所遵循的概率密度函数的参数。形式上，它是得分（score）的方差。设为概率密度函数。的对数似然函数为。

（1）如果似然函数随着的改变而迅速达到最大，则很容易从中获得的真实值，或者说提供了很多关于的信息；

（2）如果似然函数（也是）的分布较平，或分布比较均匀，则需要大量样本才能估计出的真实值。

形式上，关于的偏导数被称为“得分”（score），其以为随机变量的期望为。

          

得分的方差（由上知一阶中心矩为，所以方差等于二阶中心矩）称为“费希尔信息”（Fisher information):

    

注意。一个随机样本携带较多的费希尔信息意味着得分的绝对值通常很大。费希尔信息不是观察结果的函数，因为它是以“未抽样样本”为随机变量的函数的期望。

若关于二阶可导，由于

以及， 因此。

因此，Fisher information可以看作“支撑曲线”（support curve, 对数似然函数的图像)的曲度。较小的Fisher information意味着似然函数的最大值非常“浅薄”，附近有很多值可以取相似的似然函数值。相反，Fisher information越大，说明图像越陡峭。

单参数伯努利实验

在抛硬币的实验中，设出现正面（设为1）的概率为，出现反面（设为0）的概率为。设一次伯努利实验中出现的结果为。对数似然函数为：

Fisher information:

          

由于Fisher information为加法的，所以在n重独立同分布的实验中，Fisher information为

          

矩阵形式

设，则Fisher information的形式为NXN的矩阵。该矩阵被称为Fisher information matrix，其中

         

在某些条件下，Fisher information matrix也可以写为