《自然语言处理实战入门》 ---- 第5课 ：分词评测及语料库简介

VIP文章 2019-07-13 19:00:30 976 收藏
文章标签： 自然语言处理 NLP 汉语分词 分词评测 语料库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangyaninglm/article/details/89820033
版权

未完待续

文章大纲

开通VIP 解锁文章
shiter
关注
  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 一键三连
    一键三连

  • 扫一扫，分享海报

打赏
文章很值，打赏犒劳作者一下
《自然语言处理实战入门》 第三章 ：中文分词原理及相关组件简介 ---- 语言学与分词技术简介
shiter编写程序的艺术
07-13 1073
汉语，即汉族的语言，是中国通用语言，国际通用语言之一，属汉藏语系,汉语历史悠久，使用人数最多，世界上使用汉语的人数至少15亿 ，超过世界总人口的20% 汉字最早起源于商朝的甲骨文，距今已经有3000-4000年的历史了。 文字的目的是为了记录，古汉语以独字为核心，即使隋唐以后汉语书面语逐渐向口语化发展。
表情包
插入表情
还能输入1000个字符
相关推荐
人民日报语料库（中文分词语料库）
03-08
人民日报1998年1月份的语料库，加入了词性标注，北京大学开发，中文分词统计的好资料
《自然语言处理实战入门》---- 第1课：自然语言处理简介
shiter编写程序的艺术
11-21 2674
大家好，今天开始和大家分享，我在自然语言处理（Natural Language Processing，NLP）的一些学习经验和心得体会。 随着人工智能的快速发展，自然语言处理和机器学习技术的应用愈加广泛。为使大家对该领域整体概况有一个系统、明晰的认识，同时入门一些工程实践，也借CSDN为NLP的学习，开发者们搭建一个交流的平台。
nlp自己制作一个语料库_第119天的nlp论文总结了一个论点注释的科学出版物的语料库...
weixin_26729763的博客
10-08 278
nlp自己制作一个语料库内置AI NLP365(INSIDE AI NLP365) Project #NLP365 (+1) is where I document my NLP learning journey every single day in 2020. Feel free to check out what I have been learning over the last 262 ...
自然语言处理之语料库
sereasuesue的博客
10-20 546
语料库 定义 ：语料库(corpus)就是存放语言材料的仓库(语言数据库） 语料库技术的发展 早期：语料库在语言研究中被广泛使用：语言习得、方言学、语言教学、句法和语义、音系研究等 沉寂时期：1957年Chomsky 的《句法理论》及其以后一系列著作的发表，根本改变了语料库语言学的发展状况。Chomsky 及其转换生成语法学派批判早期的语料库研究方法 复苏与发展时期： 特征之一：第二代语料库相继建成 1983年英国Lancaster 大学建成Lancaster-Oslo / Berge
微软亚洲研究院语料库（1 089 050 字，训练集和测试集）
01-26
微软亚洲研究院语料库（1 089 050 字，训练集和测试集），有UTF8和GBK两种格式
NLP文本语料库
junruit的博客
03-29 5653
ChineseNlpCorpus 搜集、整理、发布中文自然语言处理 语料/数据集，与有志之士共同促进中文自然语言处理 的 发展。 情感/观点/评论 倾向性分析 1、ChnSentiCorp_htl_all 数据集 数据概览：7000 多条酒店评论数据，5000 多条正向评论，2000 多条负向评论 下载地址： https://github.com/Sophon...
历史最全自然语言处理测评基准分享-数据集、基准(预训练)模型、语料库、排行榜
lqfarmer的博客
12-07 2157
本资源会中文自然语言处理一列具有代表性的任务，以及对应的数据集，做为测试基准的数据集。这些数据集会覆盖不同的任务、数据量、任务难度。包含了中文自然语言处理相关的任务，涉及数据集、基准(预训练)模型、语料库、排行榜，绝对值得收藏。 本资源整理自网络，源地址：https://github.com/chineseGLUE/chineseGLUE 中文任务基准测评(C...
中文自然语言处理测评数据集、基准模型、语料库、排行榜整理分享
lqfarmer的博客
11-02 1340
本资源整理了中文语言理解测评基准，包括代表性的数据集、基准(预训练)模型、语料库、排行榜。本文选择一系列有一定代表性的任务对应的数据集，做为测试基准的数据集。这些数据集会覆盖不同的任务、数据量、任务难度。 本资源整理自网络，源地址：https://github.com/brightmart/ChineseGLUE ChineseGLUE的定位 为更好的服务中...
【5】使用结巴分词对分类语料库分词
搬砖小工053
08-01 4433
转自 NLP论坛 http://www.threedweb.cn/thread-1295-1-1.html 工作空间（workspace）路径：X:\WorkSpace\text_mining X为Windows硬盘盘符 项目主目录：text_mining |-- text_corpus_small 目录：未分词训练语料库路径，子目录名称为语料库的分类，该类所属文本就位于子目录中
自然语言处理语料库
张大鹏的专栏
03-22 1824
搜狗实验室数据资源 http://www.sogou.com/labs/resource/list_pingce.php 自然语言处理与信息检索共享平台 http://www.nlpir.org/?action-category-catid-28 参考： http://blog.csdn.net/u012052268/article/details/78035272 其它语...
自然语言处理 之 语料库相关（三）
Richard7412的博客
11-10 1854
一：针对nltk语料库的相关处理函数            1 、导入语料库的方法         1）一步到位导入语料库 如：导入gutenberg的语料库          nltk.corpus.gutenberg.fileids()         2）为避免1）中的过场语句，可以分开导入，如下：         from nltk.corpus import gutenberg
【自然语言处理】浅谈语料库
贾继康的博客
11-05 9364
文章目录【自然语言处理】浅谈语料库前言一、浅谈语料库1、语料和语料库2、语料库语言学3、 建议语料库的意义二、语料库深入了解1、语料库划分与种类2、语料库构建原则3、语料标注的优缺点三、自然语言处理工具包：NLTK一、 了解NLTK二、获取NLTK 【自然语言处理】浅谈语料库 前言    
中文语料库and分词
蓁蓁尔的博客
02-25 5666
北京大学计算语言学研究所： 《人民日报》切分/标注语料库 中文对白语料：可用作聊天机器人训练语料 THUOCL：清华大学开放中文词库 （1） http://thuocl.thunlp.org/ （2）一篇微信文章 THULAC：一个高效的中文词法分析工具包 专栏 | 中文分词工具测评 http://chuansong.me/n/1205988942333
DirectX修复工具V4.0增强版
06-13
DirectX修复工具(DirectX Repair)是一款系统级工具软件，简便易用。本程序为绿色版，无需安装，可直接运行。 本程序的主要功能是检测当前系统的DirectX状态，如果发现异常则进行修复。程序主要针对0xc000007b问题设计，可以完美修复该问题。本程序中包含了最新版的DirectX redist(Jun2010)，并且全部DX文件都有Microsoft的数字签名，安全放心。 本程序为了应对一般电脑用户的使用，采用了易用的一键式设计，只要点击主界面上的“检测并修复”按钮，程序就会自动完成校验、检测、下载、修复以及注册的全部功能，无需用户的介入，大大降低了使用难度。在常规修复过程中，程序还会自动检测DirectX加速状态，在异常时给予用户相应提示。 本程序适用于多个操作系统，如Windows XP（需先安装.NET 2.0，详情请参阅“致Windows XP用户.txt”文件）、Windows Vista、Windows 7、Windows 8、Windows 8.1、Windows 8.1 Update、Windows 10，同时兼容32位操作系统和64位操作系统。本程序会根据系统的不同，自动调整任务模式，无需用户进行设置。 本程序的V4.0版分为标准版、增强版以及在线修复版。所有版本都支持修复DirectX的功能，而增强版则额外支持修复c++的功能。在线修复版功能与标准版相同，但其所需的数据包需要在修复时自动下载。各个版本之间，主程序完全相同，只是其配套使用的数据包不同。因此，标准版和在线修复版可以通过补全扩展包的形式成为增强版。本程序自V3.5版起，自带扩展功能。只要在主界面的“工具”菜单下打开“选项”对话框，找到“扩展”标签，点击其中的“开始扩展”按钮即可。扩展过程需要Internet连接，扩展成功后新的数据包可自动生效。扩展用时根据网络速度不同而不同，最快仅需数秒，最慢需要数分钟，烦请耐心等待。如扩展失败，可点击“扩展”界面左上角小锁图标切换为加密连接，即可很大程度上避免因防火墙或其他原因导致的连接失败。 本程序自V2.0版起采用全新的底层程序架构，使用了异步多线程编程技术，使得检测、下载、修复单独进行，互不干扰，快速如飞。新程序更改了自我校验方式，因此使用新版本的程序时不会再出现自我校验失败的错误；但并非取消自我校验，因此程序安全性与之前版本相同，并未降低。 程序有更新系统c++功能。由于绝大多数软件运行时需要c++的支持，并且c++的异常也会导致0xc000007b错误，因此程序在检测修复的同时，也会根据需要更新系统中的c++组件。自V3.2版本开始使用了全新的c++扩展包，可以大幅提高工业软件修复成功的概率。修复c++的功能仅限于增强版，标准版及在线修复版在系统c++异常时（非丢失时）会提示用户使用增强版进行修复。除常规修复外，新版程序还支持C++强力修复功能。当常规修复无效时，可以到本程序的选项界面内开启强力修复功能，可大幅提高修复成功率。请注意，请仅在常规修复无效时再使用此功能。 程序有两种窗口样式。正常模式即默认样式，适合绝大多数用户使用。另有一种简约模式，此时窗口将只显示最基本的内容，修复会自动进行，修复完成10秒钟后会自动退出。该窗口样式可以使修复工作变得更加简单快速，同时方便其他软件、游戏将本程序内嵌，即可进行无需人工参与的快速修复。开启简约模式的方法是：打开程序所在目录下的“Settings.ini”文件（如果没有可以自己创建），将其中的“FormStyle”一项的值改为“Simple”并保存即可。 新版程序支持命令行运行模式。在命令行中调用本程序，可以在路径后直接添加命令进行相应的设置。常见的命令有7类，分别是设置语言的命令、设置窗口模式的命令，设置安全级别的命令、开启强力修复的命令、设置c++修复模式的命令、控制Direct加速的命令、显示版权信息的命令。具体命令名称可以通过“/help”或“/?”进行查询。 程序有高级筛选功能，开启该功能后用户可以自主选择要修复的文件，避免了其他不必要的修复工作。同时，也支持通过文件进行辅助筛选，只要在程序目录下建立“Filter.dat”文件，其中的每一行写一个需要修复文件的序号即可。该功能仅针对高级用户使用，并且必须在正常窗口模式下才有效（简约模式时无效）。 本程序有自动记录日志功能，可以记录每一次检测修复结果，方便在出现问题时，及时分析和查找原因，以便找到解决办法。 程序的“选项”对话框中包含了7项高级功能。点击"常规”选项卡可以调整程序的基本运行情况，包括日志记录、安全级别控制、调试模式开启等。只有开启调试模式后才能在C
YOLOv3目标检测实战：训练自己的数据集
05-29
<p> YOLOv3是一种基于深度学习的端到端实时目标检测方法，以速度快见长。本课程将手把手地教大家使用labelImg标注和使用YOLOv3训练自己的数据集。课程分为三个小项目：足球目标检测（单目标检测）、梅西目标检测（单目标检测）、足球和梅西同时目标检测（两目标检测）。<br /> <br /> 本课程的YOLOv3使用Darknet，在Ubuntu系统上做项目演示。包括：安装Darknet、给自己的数据集打标签、整理自己的数据集、修改配置文件、训练自己的数据集、测试训练出的网络模型、性能统计(mAP计算和画出PR曲线)和先验框聚类。<br /> <br /> Darknet是使用C语言实现的轻型开源深度学习框架，依赖少，可移植性好，值得深入探究。 </p> <p> 购课后可加入白勇老师课程学习交流QQ群：957519975<br /> <br /> 除本课程《YOLOv3目标检测实战：训练自己的数据集》外，本人推出了有关YOLOv3目标检测的系列课程，请持续关注该系列的其它课程视频，包括：<br /> <br /> 《YOLOv3目标检测实战：交通标志识别》<br /> <br /> 《YOLOv3目标检测：原理与源码解析》<br /> <br /> 《YOLOv3目标检测：网络模型改进方法》 </p> <p> 敬请关注并选择学习！ </p> <p> <img alt="" src="https://img-bss.csdn.net/201905290055196890.jpg" /> </p>
sqsx免费代理0.28
05-29
sqsx免费代理0.28.rar
用python爬取豆瓣电影信息，输入类别和爬取页数，想怎么爬就怎么爬，哎就是玩！
weixin_54733110的博客
07-17 1万+
用python爬取豆瓣电影信息，输入类别和爬取页数，想怎么爬就怎么爬，哎就是玩！ 代码操作展示： 开发环境 windows 10 python3.6 开发工具 pycharm 库 tkinter、jsonpath、lxml、random、os、xlrd 1.百度搜索豆瓣打开豆瓣电影，下面是我们要爬取的地址 start_url = https://movie.douban.com/explore#!type=movie&tag=%E7%83%AD%E9%97%A8&sort=time&am
SpringBoot微服务知识体系与RabbitMQ深入实战-菜鸟成神之路
10-01
本套餐将包括两个重磅性的课程与一个赠送学习的课程，分别为SpringBoot实战视频教程与RabbitMQ实战教程跟SSM整合开发之poi导入导出Excel。目的是为了让各位小伙伴可以从零基础一步一个脚印学习微服务项目的开发，特别是SpringBoot项目的开发，之后会进入第二个课程：RabbitMQ的实战，即消息中间件在实际项目或者系统中各种业务模块的实战并解决一些常见的典型的问题！核心的知识点分别包括 一、SpringBoot实战历程课程 （1）SpringBoot实战应用场景的介绍与代码实战 （2）发送邮件服务、上传下载文件服务、Poi导入导出Excel （3）单模块与多模块项目构建、项目部署打包、日志、多环境配置、lombok、validator以及mybatis整合实战跟多数据源实战 （4）Redis缓存中间件的实战与缓存雪崩跟缓存穿透等问题的解决实战 （5）RabbitMQ消息中间件在业务模块异步解耦、通信、消息确认机制以及并发量配置等的实战 二、RabbitMQ实战教程课程 （1）RabbitMQ的官网权威技术手册拜读，认识并理解各大专有名词，如队列，交换机，路由，死信队列，消息确认机制等等 （2）RabbitMQ在业务服务模块之间的异步解耦通信实战，如异步记录日志与发送邮件等 （3）商城系统抢单高并发情况下RabbitMQ的限流作用与代码实战 （4）消息确认机制与并发量配置并用来实战商城用户下单 （5）死信队列深入讲解与DLX,DLK,TTL等概念的讲解并用来实战 “支付系统用户下单后支付超时而失效其下单记录”实战 详情，各位小伙伴可以查看两个课程的目录。相信学完该套餐相关课程后，你的实战能力将大大提升！涨薪将不再遥遥无期！ 最后，赠送的SSM整合开发之POI导入导出Excel目的是为了让各位小伙伴也可以学习Spring+SpringMVC+Mybatis整合开发的项目，让大家一对比SpringBoot与SPring的项目开发流程以及复杂程度！！！ 相信学完之后，你会对SpringBoot爱不释手！！
©️2020 CSDN 皮肤主题: Age of Ai 设计师:meimeiellie 返回首页

打赏

shiter

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。

余额充值