1
推荐
1646
阅读
信息论基本概念 - 各种熵的解释
文章导读：熵联合熵和条件熵互信息相对熵交叉熵困惑度模拟信道模型最近在看《统计自然语言处理》，觉得第二章预备知识里的关于信息论的一些基本概念总结得很不错。虽然对于熵这个词，我接触过很多次，在机器学习里的很多地方也都有涉及到，比如说最大熵模型，决策树训练时的互信息等等。但是有的时候我还是会经常搞混淆...
0
推荐
1883
阅读
【神经网络和深度学习】笔记 - 第六章 深度学习
文章导读：卷积神经网络卷积神经网络实践深度神经网络在可以模拟更加复杂的情形，但是在上一章中，我们发现训练深度神经网络的时候会出现梯度消失的问题，从而导致模型训练失败。这一章，将会介绍可以被用在深度学习上的一些技术。这章的主要内容是介绍一种应用最广泛的深度神经网络：卷积神经网络。我们将会了解到卷积...
0
推荐
1452
阅读
【神经网络和深度学习】笔记 - 第五章 深度神经网络学习过程中的梯度消失问题
文章导读：1. 梯度消失问题2. 是什么导致了梯度消失问题？3. 复杂神经网络中的梯度不稳定问题之前的章节，我们利用一个仅包含一层隐藏层的简单神经网络就在MNIST识别问题上获得了98%左右的准确率。我们于是本能会想到用更多的隐藏层，构建更复杂的神经网络将会为我们带来更好的结果。就如同在进行图像模式识别的时候，第...
1
推荐
2343
阅读
【神经网络和深度学习】笔记 - 第四章 神经网络可以实现任意函数的直观解释
文章导读：1. 两个前提2. 单输入单输出的情况3. 一般情形：多输入多输出情况 4. 使用sigmoid以外的神经元5. 修正阶跃函数6.总结 神经网络最令人激动的一个性质，就是它可以实现任意功能的函数。而且是即使对于只有一个隐藏层的神经网络，这个结论依然成立。大部分神经网络的使用者都知道这个性质，但是并不理...
2
推荐
3042
阅读
【神经网络和深度学习】笔记 - 第三章 如何提高神经网络学习算法的效果
文章导读：1.交叉熵损失函数 1.1 交叉熵损失函数介绍 1.2 在MNIST数字分类上使用交叉熵损失函数 1.3 交叉熵的意义以及来历 1.4 Softmax2. 过拟合和正则化 2.1 过拟合 2.2 正则化 2.3 为什么正则化可以减轻过拟合问题 2.4 正则化的其它方法3. 参数初始化4. 其它方法 4.1 随机梯度下降算法的改...
0
推荐
1658
阅读
【神经网络和深度学习】笔记 - 第二章 反向传播算法
文章导读：1. 一种基于矩阵运算快速计算神经网络输出的方法2. 关于损失函数的两个假设3. Hadamard积 - st4. 反向传播算法背后的四个基本方程5. 四个方程的证明(选学)6. 反向传播算法 7. 反向传播算法的代码实现 8. 反向传播为什么被认为是快速的算法？9. 反向传播概貌 上一章中我们遗留了一个问题，就是...
0
推荐
2191
阅读
【神经网络和深度学习】笔记 - 第一章 使用神经网络识别手写数字
文章导读：1. 本书内容2. 手写字体识别3. 感知机4. Sigmoid神经元5. 神经网络的结构6. 一个用于手写数字识别的简单神经网络7. 梯度下降学习算法8. 数字识别神经网络的实现9. 关于深度学习 深度学习算是现在机器学习领域非常热门的方向了，虽然一直有了解并且简单用过，但是对于其中的详细原理和来龙去脉都是略知一...
1
推荐
2742
阅读
Spark ML下实现的多分类adaboost+naivebayes算法在文本分类上的应用
文章导读：1. Naive Bayes算法2. Adaboost算法3. Spark ML的使用4. 自定义扩展Spark ML1. Naive Bayes算法朴素贝叶斯算法算是生成模型中一个最经典的分类算法之一了，常用的有Bernoulli和Multinomial两种。在文本分类上经常会用到这两种方法。在词袋模型中，对于一篇文档d中出现的词w0,w1,...,wn, 这篇文章被分类为c的概...