《自然语言处理实战入门》 ---- 第5课 ：分词评测及语料库简介

VIP文章 2019-07-13 19:00:30 932 收藏
分类专栏： 自然语言处理 NLP 文章标签： 自然语言处理 NLP 汉语分词 分词评测 语料库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangyaninglm/article/details/89820033
版权

未完待续

文章大纲

本文为VIP专属文章，单击开通VIP
shiter CSDN认证博客专家 NLP 自然语言处理 算法
CSDN博客专家，人工智能与大数据领域优秀创作者，博客累计近300w 人次访问。 熟悉自然语言处理（NLP）、大数据(Spark 、Elasticsearch)、数据分析（python），计算机视觉（OpenCV、立体匹配）等领域的研发工作。精通基于pySpark\Elasticsearch\Hadoop生态圈，c/c++开发，OpenCV接口。 曾参与并负责国家级大数据安全项目相关POC验证与探索工作，负责国家级大健康平台相关开发与管理工作，目前主要负责金融行业AI与大数据相关开发与落地。Generally speaking I am a hard working man！！！
已标记关键词 清除标记
微软亚洲研究院语料库（1 089 050 字，训练集和测试集）
01-26
微软亚洲研究院语料库（1 089 050 字，训练集和测试集），有UTF8和GBK两种格式
表情包
插入表情
还能输入1000个字符
相关推荐
《自然语言处理实战入门》---- 第1课：自然语言处理简介
shiter编写程序的艺术
11-21 2358
大家好，今天开始和大家分享，我在自然语言处理（Natural Language Processing，NLP）的一些学习经验和心得体会。 随着人工智能的快速发展，自然语言处理和机器学习技术的应用愈加广泛。为使大家对该领域整体概况有一个系统、明晰的认识，同时入门一些工程实践，也借CSDN为NLP的学习，开发者们搭建一个交流的平台。
NLP入门+实战必读：一文教会你最常见的10种自然语言处理技术（附代码）
大数据文摘
11-09 3291
大数据文摘作品 编译：糖竹子、吴双、钱天培 自然语言处理（NLP）是一种艺术与科学的结合，旨在从文本数据中提取信息。在它的帮助下，我们从文本中提炼出适用于计算机算法的信息。从自动翻译、文本分类到情绪分析，自然语言处理成为所有数据科学家的必备技能之一。 在这篇文章中，你将学习到最常见的10个NLP任务，以及相关资源和代码。 为什么要写这篇文章？ 对于
自然语言处理之语料库
sereasuesue的博客
10-20 393
语料库 定义 ：语料库(corpus)就是存放语言材料的仓库(语言数据库） 语料库技术的发展 早期：语料库在语言研究中被广泛使用：语言习得、方言学、语言教学、句法和语义、音系研究等 沉寂时期：1957年Chomsky 的《句法理论》及其以后一系列著作的发表，根本改变了语料库语言学的发展状况。Chomsky 及其转换生成语法学派批判早期的语料库研究方法 复苏与发展时期： 特征之一：第二代语料库相继建成 1983年英国Lancaster 大学建成Lancaster-Oslo / Berge
NLP文本语料库
junruit的博客
03-29 5238
ChineseNlpCorpus 搜集、整理、发布中文自然语言处理 语料/数据集，与有志之士共同促进中文自然语言处理 的 发展。 情感/观点/评论 倾向性分析 1、ChnSentiCorp_htl_all 数据集 数据概览：7000 多条酒店评论数据，5000 多条正向评论，2000 多条负向评论 下载地址： https://github.com/Sophon...
中文自然语言处理测评数据集、基准模型、语料库、排行榜整理分享
lqfarmer的博客
11-02 1214
本资源整理了中文语言理解测评基准，包括代表性的数据集、基准(预训练)模型、语料库、排行榜。本文选择一系列有一定代表性的任务对应的数据集，做为测试基准的数据集。这些数据集会覆盖不同的任务、数据量、任务难度。 本资源整理自网络，源地址：https://github.com/brightmart/ChineseGLUE ChineseGLUE的定位 为更好的服务中...
历史最全自然语言处理测评基准分享-数据集、基准(预训练)模型、语料库、排行榜
lqfarmer的博客
12-07 1769
本资源会中文自然语言处理一列具有代表性的任务，以及对应的数据集，做为测试基准的数据集。这些数据集会覆盖不同的任务、数据量、任务难度。包含了中文自然语言处理相关的任务，涉及数据集、基准(预训练)模型、语料库、排行榜，绝对值得收藏。 本资源整理自网络，源地址：https://github.com/chineseGLUE/chineseGLUE 中文任务基准测评(C...
《自然语言处理实战入门》 第三章 ：中文分词原理及相关组件简介 ---- 语言学与分词技术简介
shiter编写程序的艺术
07-13 1035
汉语，即汉族的语言，是中国通用语言，国际通用语言之一，属汉藏语系,汉语历史悠久，使用人数最多，世界上使用汉语的人数至少15亿 ，超过世界总人口的20% 汉字最早起源于商朝的甲骨文，距今已经有3000-4000年的历史了。 文字的目的是为了记录，古汉语以独字为核心，即使隋唐以后汉语书面语逐渐向口语化发展。
《自然语言处理实战入门》 ---- 第4课 ：中文分词原理及相关组件简介 之 汉语分词领域主要分词算法、组件、服务(上)...
shiter编写程序的艺术
11-19 932
目录0.内容梗概1. 基于传统统计算法的分词组件1.1 hanlp : Han Language Processing1.2 语言技术平台（Language Techno...
人民日报语料库（中文分词语料库）
03-08
人民日报1998年1月份的语料库，加入了词性标注，北京大学开发，中文分词统计的好资料
【5】使用结巴分词对分类语料库分词
搬砖小工053
08-01 4331
转自 NLP论坛 http://www.threedweb.cn/thread-1295-1-1.html 工作空间（workspace）路径：X:\WorkSpace\text_mining X为Windows硬盘盘符 项目主目录：text_mining |-- text_corpus_small 目录：未分词训练语料库路径，子目录名称为语料库的分类，该类所属文本就位于子目录中
中文语料库and分词
蓁蓁尔的博客
02-25 5500
北京大学计算语言学研究所： 《人民日报》切分/标注语料库 中文对白语料：可用作聊天机器人训练语料 THUOCL：清华大学开放中文词库 （1） http://thuocl.thunlp.org/ （2）一篇微信文章 THULAC：一个高效的中文词法分析工具包 专栏 | 中文分词工具测评 http://chuansong.me/n/1205988942333
【自然语言处理】浅谈语料库
贾继康的博客
11-05 8666
文章目录【自然语言处理】浅谈语料库前言一、浅谈语料库1、语料和语料库2、语料库语言学3、 建议语料库的意义二、语料库深入了解1、语料库划分与种类2、语料库构建原则3、语料标注的优缺点三、自然语言处理工具包：NLTK一、 了解NLTK二、获取NLTK 【自然语言处理】浅谈语料库 前言    
自然语言处理 之 语料库相关（三）
Richard7412的博客
11-10 1817
一：针对nltk语料库的相关处理函数            1 、导入语料库的方法         1）一步到位导入语料库 如：导入gutenberg的语料库          nltk.corpus.gutenberg.fileids()         2）为避免1）中的过场语句，可以分开导入，如下：         from nltk.corpus import gutenberg
《自然语言处理实战入门》 第三章 ：中文分词原理及相关组件简介 ----汉语分词领域主要分词算法、组件、服务(中)
shiter编写程序的艺术
10-09 881
在深度学习相关算法应用到自然语言处理领域之前，基于统计模型的方法是NLP相关算法的主流，在一些应用中如：垃圾邮件过滤中取得了成功（分词后使用贝叶斯分类）。统计模型不能充分捕捉语境或反语等细微的语言要点，而且可能忽略词语间的连续性和相互关系。 目前深度学习在自然语言处理包括：语义情感分析，自动摘要，问答机器人，知识图谱等场景中有了非常广泛的应用，取得了不错的效果。
《自然语言处理实战入门》第三章 ：中文分词原理及相关组件简介---- 汉语分词领域主要分词算法、组件、服务(下)
shiter编写程序的艺术
01-25 2560
3.云厂商API 百度语言处理基础技术 依托海量检索数据，并且搜索引擎本身就是NLP 最终的结果产出，所以在NLP领域，百度无论是语料库丰富程度，技术先进性，以及服务多样性等都是遥遥领先其他厂家，基本上可以算作是中文NLP服务提供商的业界最佳实践。 百度云语言处理技术：http://ai.baidu.com/tech/nlp PaddleNLP 百度nlp c++ 版本 百度词法...
《自然语言处理实战入门》第三章 ：中文分词原理及相关组件简介 ---- 汉语分词领域主要分词算法、组件、服务(上)
shiter编写程序的艺术
07-24 1390
基于词典的分词方法，有诸多限制，不能完成新词识别分割的问题，目前学界，工业界基本都采用基于统计的方法进行汉语分词。本文我们分别就目前业界使用频率最高的一些分词组件依次介绍。
©️2020 CSDN 皮肤主题: Age of Ai 设计师:meimeiellie 返回首页
实付 29.90元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。

余额充值