一、什么是自然语言处理
自然语言处理(Natural Language Processing,简称NLP)就是用一定的方法把人类的语言转化为可以用计算机来处理、理解以及运用的程序。NLP是人工智能的重要分支,和深度学习/机器学习等技术紧密结合在一起,是计算机科学与语言学的交叉学科,又常被称为计算语言学。自然语言是人类区别于其他动物的根本标志。NLP赋予了机器真正的智能,也体现了人工智能的最高任务与境界。
NLP从广义上分为自然语言理解和自然语言生成。自然语言理解就是让机器去理解或读懂人类的语言,意图,语气,情绪和逻辑等等。自然语言生成是把计算机的数据转化为人类的语言。计算机数据的本质都是0,1数据流组成的,如何根据规律把它转化为人类可理解的语言即自然语言生成。
二、学了NLP可以做什么
语音层面:如语音合成,通过相关技术把原语音转化为其他的声音,如 QQ语音聊天中的变声功能。语音识别,把我们平时听到的声音转化为文字,方便进一步语义处理。如百度的度秘,科大讯飞的语音识别。
词语层面:通过分词技术,识别句子中的同义词,反义词,名词,方位词,人名和地名等等。通过词语分析可以解决很多问题,如自动抽取和识别文本中的人名字,抽取人与人之间的关系熟悉,建立知识图谱。
如在电商网站中,经常出现黄牛写错收货地址。通过分词后识别收货地址中各个词的熟悉,把不相关的词去掉重新生成新的地址。在词语层面还有很多应用:如比较词与词之间的相似度,进行语义层面分析;把词转化为向量进行机器学习,深度学习;发现新词,网络用语,流行词和未登录的词等等。
句子层面:通过句子层面的分析,可以进行机器翻译(中英互译)、自动写作(机器写诗),人机对话(聊天机器人)、信息检索(搜索引擎)等等。
文档层面:如新闻频道分类,机器阅读(如让机器阅读托福问卷,然后答题。让机器阅读历史所有医学文献,给医生提供辅助治疗方案等等),文本摘要(根据一篇文章,抽取中心思想)等等。NLP技术体系如下图:
三、自然语言处理市场需求大,人才稀缺,待遇好
在猎聘网上检:NLP,其最新待遇如下图: