机器学习札记9——《统计学习第一章习题》

浏览: 1456

习题一

说明伯努利模型的极大似然估计以及贝叶斯估计中的统计学习方法三要素。
统计学习方法的三要素：

  • 模型
  • 策略
  • 算法

 模型策略算法
极大似然估计条件概率经验风险最小化求解析解
贝叶斯估计条件概率结构风险最小化求数值解

伯努利模型是定义在取值为0，1上的随机变量上的概率分布：
当Y取值为1时：
P(Y=1)=\Theta
当Y取值为0时：
P(Y=0)=1-\Theta
极大似然估计为L{(\theta)}= \sum_{i=1}^nP(A_i)={\theta}^k({1-\theta})^{n-k}

去似然函数的对数为：
\begin{align} log(L(\Theta)) & = log(\sum_{i=1}^NP(Y_i))\\ & = log({\Theta}^k({1-\Theta})^{n-k})\\ & = klog(\Theta)+(n-k)log(1-\Theta) \end{align}

  • n是实验的次数
  • k为n次实验中结果为1的次数
  • Y_i表示第i次实验的结果

令似然函数的导数为0，可以求出解析解\Theta=\frac {k}{n}

贝叶斯估计：P(\Theta|Y_1,Y_2,....,Y_n)=\frac {P({Y_1,Y_2,...,Y_n|\Theta})*P(\Theta)}{P(Y_1,Y_2,...,Y_n)}

根据先验概率和估计后验概率，使得后验概率最大化，所以贝叶斯估计得到的概率取决于所选择的先验分布。

习题二

通过经验风险化最小化推导极大似然估计。证明模型是条件概率分布，当损失函数是对数损失函数时，经验风险最小化等价于极大似然估计。
几个重要概念：

  • 模型是条件概率分布，说明预测值：





推荐 0
本文由 皮大大 创作，采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。
转载、引用前需联系作者，并署名作者且注明文章出处。
本站文章版权归原作者及原出处所有 。内容为作者个人观点， 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台，并不用于任何商业目的，如果有任何问题，请及时联系我们，我们将根据著作权人的要求，立即更正或者删除有关内容。本站拥有对此声明的最终解释权。

0 个评论

要回复文章请先登录或注册