自然语言介绍NLP

浏览: 2770

一、什么是自然语言处理 
    自然语言处理(Natural Language Processing,简称NLP)就是用一定的方法把人类的语言转化为可以用计算机来处理、理解以及运用的程序。NLP是人工智能的重要分支和深度学习/机器学习等技术紧密结合在一起,是计算机科学与语言学的交叉学科,又常被称为计算语言学。自然语言是人类区别于其他动物的根本标志。NLP赋予了机器真正的智能,也体现了人工智能的最高任务与境界

NLP从广义上分为自然语言理解和自然语言生成。自然语言理解就是让机器去理解或读懂人类的语言,意图,语气,情绪和逻辑等等。自然语言生成是把计算机的数据转化为人类的语言。计算机数据的本质都是0,1数据流组成的,如何根据规律把它转化为人类可理解的语言即自然语言生成。

二、学了NLP可以做什么

语音层面:如语音合成,通过相关技术把原语音转化为其他的声音,如 QQ语音聊天中的变声功能。语音识别,把我们平时听到的声音转化为文字,方便进一步语义处理。如百度的度秘,科大讯飞的语音识别。

词语层面:通过分词技术,识别句子中的同义词,反义词,名词,方位词,人名和地名等等。通过词语分析可以解决很多问题,如自动抽取和识别文本中的人名字,抽取人与人之间的关系熟悉,建立知识图谱。

Clipboard Image.png

如在电商网站中,经常出现黄牛写错收货地址。通过分词后识别收货地址中各个词的熟悉,把不相关的词去掉重新生成新的地址。在词语层面还有很多应用:如比较词与词之间的相似度,进行语义层面分析;把词转化为向量进行机器学习,深度学习;发现新词,网络用语,流行词和未登录的词等等。

句子层面:通过句子层面的分析,可以进行机器翻译(中英互译)、自动写作(机器写诗),人机对话(聊天机器人)、信息检索(搜索引擎)等等。

文档层面:如新闻频道分类,机器阅读(如让机器阅读托福问卷,然后答题。让机器阅读历史所有医学文献,给医生提供辅助治疗方案等等),文本摘要(根据一篇文章,抽取中心思想)等等。NLP技术体系如下图:

Clipboard Image.png

三、自然语言处理市场需求大,人才稀缺,待遇好

在猎聘网上检:NLP,其最新待遇如下图:

Clipboard Image.png

推荐 1
本文由 Kenny 创作,采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。
转载、引用前需联系作者,并署名作者且注明文章出处。
本站文章版权归原作者及原出处所有 。内容为作者个人观点, 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台,并不用于任何商业目的,如果有任何问题,请及时联系我们,我们将根据著作权人的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。

0 个评论

要回复文章请先登录注册