本文主题首先是循环自编码网络在句子改写检测中的应用。
首先来看下半监督自编码。为了抽取情感并且解决反义词这个问题，加入了softmax 分类器。误差函数是重构误差和交叉熵的加权组合，如下图所示。具体论文见Socher et al. (EMNLP 2011) 。
什么是改写呢？下面是两个例子。
• Pollack said the plaintiffs failed to show that Merrill and Blodget directly caused their losses
• Basically, the plaintiffs did not show that omissions in Merrill’s research caused the claimed losses
• The initial report was made to Modesto Police December 28.
• It stems from a Modesto police report
问题来了，如何比较两个句子的意思呢？
可以利用无监督循环自编码来解决这个问题。无监督循环自编码跟循环自编码类似，只是去掉了有监督评分，替换为在每个节点计算重构误差。具体文章见Socher et al. (EMNLP 2011)。
无监督展开式循环自编码尝试在每个节点都对整个树结构进行编码。
其中的下标e和下标d分别表示encode和decode。
循环自编码也可以用于整句改写检测。主要思想在于无监督展开式循环自编码以及解析树节点中的成对句子对比，具体参见 Socher et al. (NIPS 2011)
来看下实验结果。数据集是 Microsoft Research Paraphrase Corpus，具体论文见 (Dolan et al. 2004)。
下面是一些具体的示例。
下面谈谈递归矩阵向量空间在语义合成性中的应用。
为了使得合成函数表达能力更强，可以去掉权值W都一样的限制条件。但是，这种做法不易应对某个单词是作用词的情形，比如very good 中的 “very”。针对这种情形，就需要提出一种新的合成函数。
RNN也可以用来预测情感分布，下面是语言中非线性关系的一个示例。
MV-RNN也可以用于关系分类。比如
接下来看下情感检测。情感检测在商业智能，股票交易等问题中至关重要。
情感检测跟词袋模型有紧密联系。大多数情感检测相关方法都是起始于词袋模型结合文体特征、文体处理以及辞典。但是这类方法，包括tf-idf，不能区别下面两个短句：
+ white blood cells destroying an infection
- an infection destroying white blood cells
情感检测的准确率在一些长文档中已经达到将近 90%，也有很多的情形，比如可恶的，极好的等等。对于单句电影评论数据集(Pang and Lee, 2005)，情感检测的准确率在超过7年的时间内都没超过80%。一些比较难应付的情景，需要确切理解对立面及其应用范围，并且还有其他语义影响。
比如下面两个电影评论：
Stealing Harvard doesn't care about cleverness, wit or any other kind of
intelligent humor.
There are slow and repetitive parts but it has just enough spice to keep it
interesting.
为了提高情感预测的性能，可以考虑下面两个方法，组合训练数据和更好的组合模型。
首先是新的树图资料库。
其中包含了11855个句子的解析树，215,154个带有标签的短语，可以利用组合信息加以训练和评估。
然后是新的组合模型，递归神经张量网络，这种网络目前来看比其他RNN表达能力更强，它的思想在于向量之间更多的交互作用。
接下来看下在 Treebank上的实验结果
消极情感的示例
多数方法发现负面次经常使得事物更加负面，见Potts, 2010。下面是针对负面数据的分析
还有一些否定的否定对应的情形。
最后来总结下RNN模型的变体。
• 目标函数
• 有监督评分用于结构预测
• 情感分类，关系分类，可视物体分类，逻辑分类
• 对中间节点或者整个树结构无监督自编码
• 组合函数
• 句法自由的权值
• 矩阵向量 RNN
• 基于张量的模型
• 树结构
• 选民解析树
• 组合范畴语法树
• 从属解析树
• 固定树结构 (跟CNNs紧密关联)
递归深度学习总结
递归深度学习可以预测分层结构，可以利用组合向量对结构化输出进行分类。
效果比较好的一些案例如下（代码都在 www.socher.org)
• 数据集WSJ上的解析
• 多个语料库上的情感分析
• 无监督RNNs用于改写检测
• 关系分类，SemEval 2011, Task8
• 物体检测， Stanford background and MSRC datasets
参考资料
http://nlp.stanford.edu/courses/NAACL2013/NAACL2013-Socher-Manning-DeepLearning.pdf
https://web.stanford.edu/~cgpotts/papers.html （很多code 和 data，推荐）
http://www.socher.org/index.php/Main/HomePage#Publications
