定义
在数理统计中,Fisher information是一种衡量“随机观测样本携带的关于未知参数的信息量”的方法,其中为所遵循的概率密度函数的参数。形式上,它是得分(score)的方差。设为概率密度函数。的对数似然函数为。
(1)如果似然函数随着的改变而迅速达到最大,则很容易从中获得的真实值,或者说提供了很多关于的信息;
(2)如果似然函数(也是)的分布较平,或分布比较均匀,则需要大量样本才能估计出的真实值。
形式上,关于的偏导数被称为“得分”(score),其以为随机变量的期望为。
得分的方差(由上知一阶中心矩为,所以方差等于二阶中心矩)称为“费希尔信息”(Fisher information):
注意。一个随机样本携带较多的费希尔信息意味着得分的绝对值通常很大。费希尔信息不是观察结果的函数,因为它是以“未抽样样本”为随机变量的函数的期望。
若关于二阶可导,由于
以及, 因此。
因此,Fisher information可以看作“支撑曲线”(support curve, 对数似然函数的图像)的曲度。较小的Fisher information意味着似然函数的最大值非常“浅薄”,附近有很多值可以取相似的似然函数值。相反,Fisher information越大,说明图像越陡峭。
单参数伯努利实验
在抛硬币的实验中,设出现正面(设为1)的概率为,出现反面(设为0)的概率为。设一次伯努利实验中出现的结果为。对数似然函数为:
Fisher information:
由于Fisher information为加法的,所以在n重独立同分布的实验中,Fisher information为
矩阵形式
设,则Fisher information的形式为NXN的矩阵。该矩阵被称为Fisher information matrix,其中
在某些条件下,Fisher information matrix也可以写为
更多推荐
Fisher information
发布评论