NLP

0
推荐
2224
阅读

从零开始学Python自然语言处理(29)—— 根据场景变换的ELMo

前文传送门:从零开始学自然语言处理(28)—— Bi-LSTM+CRF完成命名实体识别任务我的朋友,去面试NLP算法工程师,面试官问了一些问题,最后的几个问题,他没回答出。当时的问题如下:ELMo是什么?ELMo和经典的word2vec有什么区别?ELMo的使用过程是怎样的?ELMo的几大优势是什么?劣势是什么?为了回答这些面试问题,我们...

发表了文章 • 2020-06-08 23:16 • 0 条评论

0
推荐
2734
阅读

从零开始学Python自然语言处理(28)—— Bi-LSTM+CRF完成命名实体识别任务

前文传送门:从零开始学自然语言处理(27)—— 开辟新纪元的Transformer俗话说的好,NER该怎么做?双向LSTM+CRF啊。这LSTM听说比一般的RNN牛逼,那这双向的LSTM岂不是更牛逼了?(BERT心想:渣渣)不管是实际业务需要,还是参加一些NLP比赛,亦或是参加面试,都有可能用到NER,那双向LSTM+CRF简直就是NER界的标配。今天我...

发表了文章 • 2020-06-08 23:10 • 0 条评论

0
推荐
3019
阅读

从零开始学Python自然语言处理(27)—— 开辟新纪元的Transformer

前文传送门:从零开始学自然语言处理(26)—— 强大的Attention机制回想起朋友之前找工作的悲惨经历,本来面试回答的挺好,面试官最后问了个NLP的问题,直接让他和50w年薪的工作擦肩而过..当时面试的是数据挖掘工程师,朋友对数据挖掘算法早就很熟练了,在问了一些机器学习算法之后,也问了一些深度学习算法,幸好他早有...

发表了文章 • 2020-06-08 23:03 • 0 条评论

0
推荐
2958
阅读

从零开始学Python自然语言处理(24)—— 巧妙的条件随机场(CRF)(下)

前文传送门:从零开始学自然语言处理(23)—— 巧妙的条件随机场(CRF)(上)在上一篇中,我们讲解了条件随机场中的线性链条件随机场基本概念,在本篇中,我们继续学习。我们如何将线性链条件随机场转化为可计算的数学公式呢?主要是通过特征函数和它的权重系数来定义出公式的。在线性链条件随机场中,主要有两种特征函数...

发表了文章 • 2020-06-08 21:10 • 0 条评论

0
推荐
2475
阅读

从零开始学Python自然语言处理(23)—— 巧妙的条件随机场(CRF)(上)

前文传送门:从零开始学自然语言处理(22)—— 效果震撼的Bi-LSTM在讲完Bi-LSTM之后,我觉得有必要聊聊条件随机场,(conditional random field,简称CRF)。条件随机场并不是深度学习模型,它经常出现在机器学习的相关资料中,为什么这里会突然想聊聊条件随机场呢?因为条件随机场中常用的线性链条件随机场适合用于序列标...

发表了文章 • 2020-06-08 20:15 • 0 条评论

0
推荐
1974
阅读

从零开始学Python自然语言处理(21)—— 强大的长短期记忆网络(LSTM)(下)

前文传送门:从零开始学自然语言处理(二十)—— 强大的长短期记忆网络(LSTM)(上)我们接着上一章的LSTM结构继续深入分拆其中内容。在LSTM中,包含三个门,分别是输入门、遗忘门、输出门,其中,输入门决定当前时刻的输入是否能输入进去,遗忘门决定当前的细胞中的内容是否被遗忘,而输出门决定当前的内容能否输出,整体...

发表了文章 • 2020-05-09 17:38 • 0 条评论

0
推荐
2408
阅读

从零开始学Python自然语言处理(二十)—— 强大的长短期记忆网络(LSTM)(上)

前文传送门:从零开始学自然语言处理(十九)—— 不可不知的循环神经网络(RNN)在上一章中,我们讲到了RNN网络。RNN由于其结构特点,可以将之前的信息带到当前时刻t中,这对于处理自然语言序列问题十分重要,例如我们预测“今天 天气晴朗 , 天空 是 蓝色”中的最后一个词“蓝色”,通过训练后的RNN可以较好做到这点,此时要预...

发表了文章 • 2020-05-09 17:29 • 0 条评论

0
推荐
2043
阅读

从零开始学Python自然语言处理(十九)—— 不可不知的循环神经网络(RNN)

前文传送门:从零开始学自然语言处理(十八)—— 如何评价统计语言模型的好坏循环神经网络(RNN)对自然语言处理来说,是非常重要的,包括之后的LSTM等网络结构,都是基于基础RNN变化而来。既然循环神经网络是一种神经网络,那它长什么样呢?如下图所示:可能你看的有点迷糊,我们可以看看另一张图:其实,左边的这个结构展...

发表了文章 • 2020-05-09 17:27 • 0 条评论

0
推荐
2437
阅读

从零开始学Python自然语言处理(十八)—— 如何评价统计语言模型的好坏

前文传送门:从零开始学自然语言处理(十七)—— 统计语言模型(下)在之前的两篇文章中,我们讲解了统计语言模型来计算句子的概率大小,并且讲到了平滑方法。当我们学会计算句子的概率大小后,我们通常会思考,如何衡量和比较不同的统计语言模型好坏呢?比较不同语言模型的好坏,我们最快想到的就是将不同模型用在同一个...

发表了文章 • 2020-05-09 17:24 • 0 条评论

0
推荐
2203
阅读

从零开始学Python自然语言处理(十七)—— 统计语言模型(下)

前文传送门:从零开始学自然语言处理(十六)—— 统计语言模型(上)在上一章中,我们从语言模型讲到N-gram,并在文末点出了一个N-gram的问题,当训练N-gram的语料库中如果没有出现某种词语组合,导致计算包含这种组合的句子概率计算为0,这显然是不合理的,在训练语料库中不存在不代表在总体中不存在,所以有一种叫做平...

发表了文章 • 2020-05-09 17:16 • 0 条评论

0
推荐
2673
阅读

从零开始学Python自然语言处理(十五)—— fasttext-pytorch代码实现

前文传送门:从零开始学自然语言处理(十四)——Fasttext原理详解 之前已经介绍过fasttext的基本概念从零开始学自然语言处理(十四)——Fasttext原理详解 ,这里给出实现fasttext的pytorch版本。思想很简单,但这里就不给出数据预处理的代码了,毕竟大家使用的具体场景不一样。小编尽量给出每一行代码的注释。im...

发表了文章 • 2020-05-09 17:09 • 0 条评论

0
推荐
3249
阅读

从零开始学Python自然语言处理(十四)——Fasttext原理详解

前文传送门:从零开始学自然语言处理(十三)——CBOW原理详解fasttext是facebook开源的一个词向量与文本分类工具,在2016年开源,典型应用场景是“带监督的文本分类问题”。在当时,它的性能比肩深度学习而且速度更快。Fasttext方法包含三部分,模型架构,层次SoftMax和N-gram子词特征。模型架构fastText的架构和word2vec中...

发表了文章 • 2020-05-09 17:05 • 0 条评论

0
推荐
4364
阅读

从零开始学Python自然语言处理(十三)——CBOW原理详解

从零开始学自然语言处理(十二)——上下文无关文法在之前的连载中我们用代码实现了word2vec,但并没有详细讲解CBOW的原理,本文手把手带你走入CBOW的算法原理。word2vec是一种将word转为向量的方法,其包含两种算法,分别是skip-gram和CBOW,它们的最大区别是skip-gram是通过中心词去预测中心词周围的词,而CBOW是通过周...

发表了文章 • 2020-05-09 16:56 • 0 条评论

0
推荐
3047
阅读

从零开始学Python自然语言处理(十二)——上下文无关文法

前文传送门:从零开始学自然语言处理(十一)——keras实现textCNN在说上下文无关文法之前,我们来看看形式语言理论,什么是形式语言理论?形式语言理论形式语言理论是用数学方法研究自然语言或者程序设计语言的理论。研究语言组成规则,而不研究语言的具体含义。说到形式语言,必须说一下它的形式文法。形式文法被严格地...

发表了文章 • 2020-05-09 16:20 • 0 条评论

0
推荐
2777
阅读

从零开始学Python自然语言处理(十一)——keras实现textCNN

前文传送门:从零开始学自然语言处理(十)—— 最大匹配算法分词“说实在的,理论型的东西,我不太爱看。看得再多,知道是那么回事,但就是写不出来。如果有一个现成的例子让我看一下,我理解得会更快。”所以这次以英文文本分类为例,写一个textCNN的实例,同时加载预训练的词向量来提升模型性能。最后再分享一些实战经验...

发表了文章 • 2020-05-09 16:09 • 0 条评论