机器学习

文章导读：熵联合熵和条件熵互信息相对熵交叉熵困惑度模拟信道模型最近在看《统计自然语言处理》，觉得第二章预备知识里的关于信息论的一些基本概念总结得很不错。虽然对于熵这个词，我接触过很多次，在机器学习里的很多地方也都有涉及到，比如说最大熵模型，决策树训练时的互信息等等。但是有的时候我还是会经常搞混淆...

文章导读：1.交叉熵损失函数　　1.1 交叉熵损失函数介绍　　1.2 在MNIST数字分类上使用交叉熵损失函数　　1.3 交叉熵的意义以及来历　　1.4 Softmax2. 过拟合和正则化　　2.1 过拟合　　2.2 正则化　　2.3 为什么正则化可以减轻过拟合问题　　2.4 正则化的其它方法3. 参数初始化4. 其它方法　　4.1 随机梯度下降算法的改...

文章导读：1. 一种基于矩阵运算快速计算神经网络输出的方法2. 关于损失函数的两个假设3. Hadamard积 - st4. 反向传播算法背后的四个基本方程5. 四个方程的证明(选学)6. 反向传播算法 7. 反向传播算法的代码实现 8. 反向传播为什么被认为是快速的算法？9. 反向传播概貌 上一章中我们遗留了一个问题，就是...

文章导读：1. 本书内容2. 手写字体识别3. 感知机4. Sigmoid神经元5. 神经网络的结构6. 一个用于手写数字识别的简单神经网络7. 梯度下降学习算法8. 数字识别神经网络的实现9. 关于深度学习 深度学习算是现在机器学习领域非常热门的方向了，虽然一直有了解并且简单用过，但是对于其中的详细原理和来龙去脉都是略知一...

文章导读：1. Naive Bayes算法2. Adaboost算法3. Spark ML的使用4. 自定义扩展Spark ML1. Naive Bayes算法朴素贝叶斯算法算是生成模型中一个最经典的分类算法之一了，常用的有Bernoulli和Multinomial两种。在文本分类上经常会用到这两种方法。在词袋模型中，对于一篇文档d中出现的词w0,w1,...,wn, 这篇文章被分类为c的概...