Hello,
大家好!欢迎收听 每周五分钟 与您分享 一点儿数据分析 的那些事.
首先,感谢微信官方在我们不经意间给此公众号开通了原创功能,故希望各平台在转载本公众号文章时加以注明并附以此公众号的二维码,谢谢!其次,感谢我的导师对此公众号的支持,非常感谢!从本期开始,我们将结合导师的讲义,分享一些关于经验似然的方法及自己的一点理解.
1. 似然的含义
1.1 参数似然的含义
老师说文言文中'似然'的意思是'像这样';源于英文中'likelihood'一词,意思是'可能性'. 我们认为这有点'所见即所得'的意思: 也就是说,在(一次)试验或观测中,我们看到的结果或事件发生的可能性。其实,本质上讲各种解释都有异曲同工之处啦。接下来,我们将针对一元离散情形和一元连续情形加以解释.
离散情形:假设总体的分布列为P(X=xj)=pj, j=1,2,...,m; 一次试验中我们得到一个简单随机样本{x1,x2,...,xn}, 此时似然为p1p2...pn.
Note: 离散时,'似然'的刻画就是样本的联合分布列,本质上讲是用概率作为可能性的一种度量.
连续情形:假设总体的密度函数为f(x); 一次试验我们得到一个样本{x1,x2,...,xn}, 此时似然为f(x1)f(x2)...f(xn).
Note: 连续时,'似然'的刻画就是样本的联合密度函数,本质上讲是用密度函数作为可能性的一种度量. 其实离散情形和连续连续情形所得到的似然是一致的,因为在概率中,离散r.v.一点的概率值和连续r.v.一点的密度函数值都是分布函数在该点变化快慢的描述, i.e., pj = dF(xj) =F(xj) - F(xj-) = f(xj)dxj.
若总体分布形式已知,而只有其包含的有限个参数未知;我们便可以基于试验样本得到的似然对其进行推断,考察在未知参数取何值时,一次试验出现此样本观察值的可能性最大,也就是说,将使得似然最大的参数值作为未知参数的估计,即所谓的'最大似然估计'-MLE。
1.2 经验似然的含义
参数似然作为参数方法,主要用于对总体参数进行统计推断:基于MLE的渐进正态性或基于似然比得到其参数的区间估计或对参数的某种假设进行检验. 而经验似然方法作为非参数方法,在不假定参数分布的情形下,直接将总体分布函数作为参数,进行估计,进而基于此估计实现对我们感兴趣的参数的统计推断.
思想:给定一个样本,我们可以计算其总体分布函数F的一致相合估计-经验分布函数Fn. 我们基于'所见即所得'的思想,假设F<<Fn, i.e., 总体分布对经验分布绝对连续. 相应地,总体分布函数的最大经验似然估计是基于最大似然的思想在样本点处对经验分布函数的调整.
Note: 以上假设将总体离散化便于解释和分析, 具有现实意义;而且具有理论上的必要性,否则,基于经验似然比进行统计推断将失效,经验似然也就没有意义.
Okay, that's all. 感谢您的收听! 咱们下期再见,再见,再见~
欢迎关注微信公众号:一点儿数据分析; 请扫码: