0
推荐
3390
阅读
从零开始学Python自然语言处理（30）—— 这两年的NLP顶流BERT
昨晚和一个朋友吃饭，他是一家公司的部门技术负责人，因为我们都是做自然语言处理的，我问他最近找工作的应该挺多的吧，他点了点头，然后和我吐槽前两天面试的一个工作3年的程序员，原来是做NLP的，这次也是面试NLP工程师，问到BERT，竟然一问三不知！我问这个朋友，你当时问了哪些问题？他说是以下几个：1. BERT为什么...
0
推荐
2991
阅读
从零开始学Python自然语言处理（26）—— 强大的Attention机制
前文传送门：从零开始学自然语言处理（25）—— 通用的Encoder-Decoder模型框架在上一次面试失利后，我回来仔细研究了一下Attention机制，研究完我不禁感悟，这机制真的厉害啊！因为我之前面试被问到的Encoder - Decoder框架中有个瓶颈是编码的结果以固定长度的中间向量表示，这导致较长的序列编码后很多信息被稀释了，导...
0
推荐
2605
阅读
从零开始学Python自然语言处理（25）—— 通用的Encoder-Decoder模型框架
前文传送门：从零开始学自然语言处理（24）—— 巧妙的条件随机场(CRF)（下）面试现场...问：什么是Encoder-Decoder模型框架？答：Encoder-Decoder框架其实是一个编码-解码框架，主要处理Sequence to Sequence（seq2seq）问题，seq2seq问题其实是输入一个字符串序列，然后经过模型框架的处理后输出一个字符串序列，这种任...
0
推荐
2882
阅读
从零开始学Python自然语言处理（22）—— 效果震撼的Bi-LSTM
前文传送门：从零开始学自然语言处理（21）—— 强大的长短期记忆网络(LSTM)（下）在上一章中，我们详细讲解了LSTM，LSTM在传统的RNN结构基础上，能处理长期依赖。但如果你比较细心，会发现LSTM作为有方向的单向传播结构，理论上只能通过历史信息预测将来的信息，也就是说，在处理文本序列时，只能通过读过的文本预测之后...
0
推荐
2786
阅读
从零开始学Python自然语言处理（十六）—— 统计语言模型（上）
前文传送门：从零开始学自然语言处理（十五）—— fasttext-pytorch代码实现在说统计语言模型之前，我们先来看看语言模型是什么。语言模型是描述自然语言规律的数学模型，可以判断一个句子是否合理。比如：“我正在吃饭” 就比 “饭正在吃我” 合理。语言模型大致经历了三个发展阶段：专家语法规则模型、统计语言模...
0
推荐
5879
阅读
从零开始学Python自然语言处理（九）—— 依存句法分析
前文传送门：依存句法分析(Dependency Parsing, DP) 是通过分析语言单位内成分之间的依存关系揭示其句法结构。依存句法通过分析语言单位内成分之前的依存关系解释其句法结构，主张句子中核心动词是支配其他成分的中心成分。而它本身却不受其他任何成分的支配，所有受支配成分都以某种关系从属于支配者。依存语法的结构没...
0
推荐
3184
阅读
从零开始学Python自然语言处理（二）——手把手带你用代码实现word2vec
前文传送门：从零开始学自然语言处理（一）—— jieba 分词自从 bert 咔嚓一下子冒出来之后，NLP 似乎进入到了一个新的纪元，不管你做啥 NLP 任务，bert 几乎能秒杀任何自己搭建的模型。现在如果没有使用过 bert，都不好意思说自己是 NLPer。然而对于许多新涉足 NLP 领域的同学来说，想要学习 bert（包括 GPT、XLnet）需要...