疯狂的拖鞋的博客专栏

少壮不努力,老大开夏利。分享机器学习,数据挖掘知识

1
推荐
1785
阅读

机器学习笔记—Logistic 回归

前面我们介绍了线性回归,为捕获训练集中隐藏的线性模型,提高预测准确率,我们寻找最佳参数 θ,使得预测值与真实值误差尽量小,也就是使均方误差最小。而经过验证,最小均方误差是符合最大似然估计理论的。在 Logistic 回归中,我们依然要用到最大似然估计理论。分类问题跟回归问题的区别是,预测值 y 取的是离散值。本...

发表了文章 • 2017-05-10 11:57 • 1 条评论

1
推荐
1714
阅读

SPSS 统计图形

统计图能够简洁、直观地对主要的数据信息进行呈现,反映事物内在的规律和关联。当然难免会丢失数据的细节,鱼与熊掌不可兼得。根据统计图呈现变量的数量将其分为单变量图、双变量图、多变量图,然后再根据测试尺度进行细分。变量主要分为3类:无序、有序和连续型变量。1、单变量图:连续型变量。包括直方图、茎叶图、箱...

发表了文章 • 2017-05-10 11:34 • 0 条评论

1
推荐
1966
阅读

机器学习笔记—指数分布簇和广义线性模型

到目前为止,我们讲了回归和分类的例子,在回归例子中:在分类例子中:可以看出,μ 和 Φ 是作为 x 和 θ 的函数来定义的。在本文会看到,这两个模型其实都只是一个广大模型家族的特例,广义线性模型。我们也将演示广义线性模型家族的其它模型如何推导,并如何应用到分类和回归问题中的。在讨论广义线性模...

发表了文章 • 2017-05-09 16:33 • 0 条评论

1
推荐
1944
阅读

机器学习笔记—再谈广义线性模型

前文从线性回归和 Logistic 回归引出广义线性回归的概念,很多人还是很困惑,不知道为什么突然来个广义线性回归,有什么用?只要知道连续值预测就用线性回归、离散值预测就用 Logistic 回归不就行了?还有一些概念之间的关系也没理清,例如线性回归和高斯分布、Logistic 回归和伯努利分布、连接函数和响应函数。这种困惑...

发表了文章 • 2017-05-09 16:20 • 0 条评论

1
推荐
1221
阅读

机器学习笔记—生成学习

目前我们主要介绍了建模 p(y|x;θ) 的学习算法,即关于给定 x 后 y 的条件分布。例如,Logistic 回归把 p(y|x;θ) 建模为 hθ(x)=g(θθx),其中 g 是 sigmoid 函数。本文将介绍一种不同类型的算法。考虑一个分类问题,学习根据动物的特征区分大象(y=1)和狗(y=0)。给定一个训练集,像 Logistic 回归或者感知机这种算法会...

发表了文章 • 2017-05-09 15:56 • 0 条评论

0
推荐
1280
阅读

机器学习笔记—支持向量机(3)

线性不可分的线性支持向量机的学习问题为如下的凸二次规划问题(原始问题):这是个凸二次规划问题,所以关于 {w,b,ξ} 的解释存在的。可以证明 w 的解是唯一的,但 b 的解不唯一,存在于一个区间。设该问题的解是 w*、b*,于是得到分离超平面 w*·x+b*=0 及分类决策函数 f(x)=sign(w*·x+b*)。构建拉格朗日函数:其中 αi&n...

发表了文章 • 2017-05-08 16:15 • 0 条评论

1
推荐
1450
阅读

机器学习笔记—支持向量机(2)

第一次看 Andrew Ng 的支持向量机讲义时,没看懂核概念,后来想可能是因为讲义从映射函数 Φ(x) 到核函数 K(x,z) 跳得太快了吧。在讲线性回归时,使用房屋面积来预测价格,房屋面积是 x,我们考虑过使用 x、x2、x3 来回归得到一个三次函数。使 Φ 为映射函数,此处为x 向量只有一个元素,该映射也即把...

发表了文章 • 2017-05-08 16:01 • 0 条评论

1
推荐
1426
阅读

机器学习笔记—支持向量机(1)

在逻辑斯特回归中:当 hθ(x) ≥ 0.5 即 θTx ≥ 0 时,输出为 1, θTx 越大,hθ(x)=p(y=1|x;w,b) 越大。在支持向量机中,我们换下符号,不再使用 θ,而是用 w,b。分类器为:当 wTx+b≥0 时,g(wTx+b)=1,不然 g(wTx+b)=-1。可以看出,这里不再像逻辑斯特回归一样要去计算概率,而是直接根据 ...

发表了文章 • 2017-05-08 15:46 • 0 条评论

2
推荐
1538
阅读

机器学习笔记—学习理论

下面三张图的模型分别是:y=θ0+θ1x,y=θ0+θ1x+θ2x2,y=θ0+θ1x+…θ5x5。第一幅图和第三幅图都有很大的泛化误差,但它们的问题是不一样的。第一幅图的问题是欠拟合,y 和 x 的关系不是线性的,但我们非要用线性模型去拟合,即使有大量的训练数据,也不能精确捕捉到数据中隐藏的结构信息,这种情况被称为模型的偏差。第三幅...

发表了文章 • 2017-05-03 16:56 • 0 条评论

1
推荐
1682
阅读

机器学习笔记—正则化和模型选择

如果针对某个学习问题,从众多模型中选择一个模型,能够在偏差和方差中做一个平衡,怎么样才能自动选择呢?例如,使用多项式回归模型 h(x)=g(θ0+θ1x+θ2x2+...+θkxk),想自动决定 k 的值,在 0~10 之间选择。再比如,要自动选择局部权重回归中的带宽参数 τ,或者 L1 正则化 SVM 的参数 C,怎么做呢?设有有限个模型 ...

发表了文章 • 2017-05-03 16:44 • 0 条评论

1
推荐
1422
阅读

机器学习笔记—K-均值聚类

在聚类问题中,给定训练集 {x(1),...,x(m)},要把数据分成内聚的“簇”。这里 x(i)∈R,没有 y(i)。所以,这是一个无监督学习问题。k-均值聚类算法如下:1、随机初始化簇中心 μ1,μ2,...,μk∈Rn;2、重复直至收敛:{对每个 i:对每个 j:其中 k 是簇个数,簇中心 μj 表示猜测的簇中心位置,初始化簇中心时,随机选...

发表了文章 • 2017-05-02 16:39 • 0 条评论

1
推荐
1417
阅读

机器学习笔记—混合高斯和 EM 算法

本文介绍密度估计的 EM(Expectation-Maximization,期望最大)。假设有 {x(1),...,x(m)},因为是无监督学习算法,所以没有 y(i)。我们通过指定联合分布 p(x(i),z(i))=p(x(i)|z(i))p(z(i)) 来对数据建模。这里 z(i)~Multinomial(Φ),其中 Φj≥0,Φ1+Φ2+...+Φk=1,参数 Φj 给定 p(z(i)=j),x(i)|z(i)=j~N(μj,...

发表了文章 • 2017-05-02 16:31 • 0 条评论

0
推荐
1398
阅读

机器学习笔记—EM 算法

EM 算法所面对的问题跟之前的不一样,要复杂一些。EM 算法所用的概率模型,既含有观测变量,又含有隐变量。如果概率模型的变量都是观测变量,那么给定数据,可以直接用极大似然估计法,或贝叶斯估计法来估计模型参数,但是,当模型含有隐变量时,情况就复杂一些,相当于一个双层的概率模型,要估计出两层的模型参数,就...

发表了文章 • 2017-05-02 16:24 • 0 条评论

1
推荐
2085
阅读

《用 Python 学微积分》笔记 1

《用 Python 学微积分》原文见参考资料 1。1、多项式f(x)=x3-5x2+9def f(x): return x**3 - 5*x**2 + 9 print f(3) print f(1) import numpy as np x = np.linspace(-5, 5, num = 100) y = f(x) import matplotlib.pyplot as plt plt.plot(x,y) plt.show()2、指数函数exp(x)=eximport numpy as np import matplotl...

发表了文章 • 2017-04-28 09:18 • 0 条评论

1
推荐
1960
阅读

《用 Python 学微积分》笔记 2

《用 Python 学微积分》原文见参考资料 1。13、大 O 记法比较两个函数时,我们会想知道,随着输入值 x 的增长或减小,两个函数的输出值增长或减小的速度究竟谁快谁慢。通过绘制函数图,我们可以获得一些客观的感受。比较 x!、ex、x3 和 log(x) 的变化趋势。import numpy as np import sympy import matplotlib.pypl...

发表了文章 • 2017-04-28 09:08 • 0 条评论