斯坦福大学机器学习笔记——高斯判别分析(转)

浏览: 1947

同朴素贝叶斯一样,高斯判别分析(Gaussian discriminant analysismodel, GDA)也是一种生成学习算法,在该模型中,我们假设y给定的情况下,x服从混合正态分布。通过训练确定参数,新样本通过已建立的模型计算出隶属不同类的概率,选取概率最大为样本所属的类。

一、混合正态分布(multivariate normal distribution)

混合正态分布也称混合高斯分布。该分布的期望和协方差为多元的:期望,协方差,协方差具有对称性和正定性。混合高斯分布:,它的的概率密度函数为:

其中,为混合高斯分布的期望为其协方差表示协方差的行列式。

下面用图形直观的看一下二维高斯分布的性质:

以上三个图形的期望都为:,最左端图形的协方差,中间的,最右端的,我们可以看出:当变小时,图像变得更加“瘦长”,而当增大时,图像变得更加“扁平”。

再看看更多的例子:


以上三个图形的期望都为:,从左至右三个图形的协方差分别的:

可以看到随着矩阵的逆对角线数值增加,图形延方向,即底部坐标45度角压缩。图形在这个方向更加“扁”。


以上三幅图分别是以上图形的等高线,可以更直观的看到调整逆对角线的数值对图像的压缩程度。

以上三幅图保持协方差不变,期望的值分别为

可以看出,随着期望的改变,图形在平面上平移,而其他特性保持不变。

二、高斯判别分析模型

如果特征值x是连续的随机变量,我们可以使用高斯判别分析模型完成特征值的分类。为了简化模型,假设特征值为二分类,分类结果服从0-1分布。(如果为多分类,分类结果就服从二项分布)

模型基于这样的假设:

他们的概率(密度)函数分别为:



模型的待估计参数为,通常模型有两个不同的期望,而有一个相同的协方差。

该模型的极大似然对数方程为:

                                                                                         

                                                        

                                                        

求解该极大似然方程得:




在对计算完成之后,将新的样本x带入进建立好的模型中,计算出,选取概率更大的结果为正确的分类。

三、GDA和logistic回归

GDA模型和logistic回归模型存在这样有趣的关系:假如我们将视作关于x的函数,该函数可以表示成logistic回归形式:


其中,可以用以为变量的函数表示。

前文中已经提到,如果为混合高斯分布,那么,就可以表示成logistic回归函数形式;相反,如果可表示成logistic回归函数形式,并不代表服从混合高斯分布。这意味着GDA比logistic回归需要更加严格的模型假设,当然,如果混合高斯模型的假设是正确的,那么,GDA具有更高的拟合度。基于以上原因,在实践中使用logistic回归比使用GDA更普遍。

原链接:http://blog.csdn.net/linkin1005/article/details/39054023

推荐 0
本文由 夏尔康 创作,采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。
转载、引用前需联系作者,并署名作者且注明文章出处。
本站文章版权归原作者及原出处所有 。内容为作者个人观点, 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台,并不用于任何商业目的,如果有任何问题,请及时联系我们,我们将根据著作权人的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。

0 个评论

要回复文章请先登录注册