算法+语料≈NLP
这是一个六千万词汇量的分类词库，从事NLP时间久了你会感觉到，算法无法解决所有问题，词库也非常重要。通常一个算法可以解决80%的问题，剩下的20%无论怎么调节优化，都是拆东墙补西墙。比如“区人保”被HMM人名识别模块误命中的例子，这个词让HMM来看，“区”作为姓氏，“人”“保”作为名字的二三字的确非常有可能，但是正常人都不会取这个名字。要是我把“人”“保”这两个字的频度降低或删除的话，“袭人”“王保全”这些名字又无法识别。之前分享的数据集大都是做计算机视觉以及分类问题使用的，这次分享一个6千万词汇的巨型汉语词库。
由于目录太过庞大，只贴出一部分：
中国海洋大学青岛学院名人录.txt
中国海诚.txt
中国淡水鱼类名称.txt
中国烟名大全.txt
中国烟草名词.txt
中国理学总词库.txt
中国画专业词库.txt
中国疗养院名录.txt
中国的世界文化遗产名录.txt
中国相声师承关系族谱.txt
中国石化五建分包名单.txt
中国石油西北销售公司词库.txt
中国神仙表.txt
中国种子植物科属.txt
中国种子植物科属词典.txt
中国种子植物科属词典1.1.txt
中国科学技术大学.txt
中国科学技术大学【校园词库】.txt
中国科学院海洋研究所人名录.txt
中国科学院院士名.txt
中国移动 151.txt
中国移动专用词库.txt
中国移动业务专用.txt
中国移动安徽有限公司.txt
中国移动福建公司员工花名册.txt
中国网络作家.txt
中国职业名称大全.txt
中国联通福建分公司客服中心专用.txt
中国自唱歌曲.txt
中国自然保护区.txt
中国航油.txt
中国艺术家（音乐理论、表演类）.txt
中国营口论坛－营口地方话词库.txt
中国著名演奏家.txt
中国观鸟年报-中国鸟类名录3.0.txt
中国计量学院.txt
中国象棋.txt
中国象棋常用词汇.txt
中国象棋红方走法大全.txt
中国财税管理咨询网.txt
中国近代历史名人.txt
中国野鸟名录.txt
中国钢厂名称库.txt
中国铁路名词.txt
中国银行.txt
中国银行快速录入.txt
中国音乐学院音乐考级山东考区人名2010年.txt
中国音乐文化词库.txt
中国风景名胜.txt
中国高等教育名录数据库.txt
中国高等院校（大学）大全【官方推荐】.txt
举个例子
四十万汉语大词库.txt
吖吖
吖啶
阿Q正传
阿阿
阿八
阿巴拉契亚山脉
阿爸
阿傍
阿谤
阿保
阿保之功
阿保之劳
阿本郎
阿鼻
阿鼻地狱
阿鼻鬼
阿鼻叫唤
阿鼻狱
阿比
阿比让
阿辟
阿避
阿炳
阿波罗
阿波罗计划
阿伯
阿步干
阿茶
阿谄
阿昌族
阿叱
阿閦
阿从
阿达
阿斗
阿阇
阿阇梨
自然语言处理及计算语言学相关术语.txt
隐式马可夫模型
阶层结构层次结构
单词句
同形异义词
同音异义词
同音词
同音异义
同部位音的
子句
人机界面
上位词
超文件超文本
下位词
主从结构的
直接成份
讯息为本的格位语法
成语熟语
特异性
施为性
直接成份
祈使句
蕴含谓词
含意
标引的
间接宾语
间接言谈行动间接言语行为
归纳推理
推理机器
不定词不定式
中缀
屈折变化
屈折词缀
资讯撷取
资讯处理信息处理
资讯检索
资讯理论信息论
固有特征
继承
继承
继承阶层继承层次
属性继承
语法天生假说
中插
里里外外演算法
体现
工具格
集成句法剖析程式
政府机关团体机构大全【官方推荐】.txt
质量技术监督局
纪律检查委员会
机关事务管理局
国家知识产权局
最高人民检察院
河北教育考试院
国家外汇管理局
人民政府办公厅
计划生育服务站
科学技术委员会
中华全国总工会
北京市人民政府
国家烟草专卖局
长江水利委员会
黄河水利委员会
市中级人民法院
河北省人民政府
市政工程管理处
环境卫生管理处
社区居民委员会
四川石油管理局
工业园区管委会
黑龙江省教育厅
华北石油管理局
中国美术家协会
市政管理委员会
哈尔滨市公安局
机动车辆管理所
辽宁省人民政府
一些奇葩词库
本站文章版权归原作者及原出处所有 。内容为作者个人观点， 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台，并不用于任何商业目的，如果有任何问题，请及时联系我们，我们将根据著作权人的要求，立即更正或者删除有关内容。本站拥有对此声明的最终解释权。
1 个评论
大佬您好，请问这个在哪儿可以下载吗？