《自然语言处理实战入门》 ---- 第4课 ：中文分词原理及相关组件简介 之 语言学与分词技术简介

原创 VIP文章 发布于2019-07-13 19:01:55 阅读数 208 收藏
更新于2019-09-12 15:37:23
分类专栏： NLP 自然语言处理 简单NLP分析套路
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://season.blog.csdn.net/article/details/90587705
展开

文章大纲

0.内容梗概

《自然语言处理实战入门》 第4课 ：中文分词原理及相关组件简介的 主要内容 有如下三个部分：

  1. 汉语语言学简介
  2. 汉语分词领域主要服务、手段、方法
shiter 博客专家
发布了245 篇原创文章 · 获赞 999 · 访问量 205万+
他的留言板 关注
本文为VIP专属文章，单击开通VIP

jieba.NET是jieba中文分词的.NET版本（C#实现）。

12-06 阅读数 1万+

jieba.NET是jieba中文分词的.NET版本（C#实现）。当前版本为0.38.2，基于jieba0.38，提供与jieba一致的功能与接口，以后可能会在jieba基础上提供其它扩展功能。关于j... 博文 来自： 山鹰的专栏

还能输入1000个字符

自然语言处理入门（4）——中文分词原理及分词工具介绍

06-30 阅读数 5万+

本文首先介绍下中文分词的基本原理，然后介绍下国内比较流行的中文分词工具，如jieba、SnowNLP、THULAC、NLPIR，上述分词工具都已经在github上开源，后续也会附上github链接，以... 博文 来自： FlySky1991的专栏

《自然语言处理实战入门》 ---- 第4课 ：中文分词原理及相关组件简介 之 分词算法原理、分词效果评测最佳实践

07-24 阅读数 127

汉语分词技术----以jieba 分词为例以我认为使用起来最友好的jieba 分词为例，我们来认识一下基于统计类算法的汉语分词流程。图片中例子参考：http://www.cnblogs.com/zhb... 博文 来自： shiter编写程序的艺术

《自然语言处理实战入门》 第4课 ：中文分词原理及相关组件简介 之 语言学与分词技术简介 参考资料.zip

07-30
《自然语言处理实战入门》 第4课 ：中文分词原理及相关组件简介的 主要内容 有如下三个部分： 博客链接：https://blog.csdn.net/wangyaninglm/article/detai
下载

C# 中文分词技术有哪些？

05-29

C# 中文分词技术有哪些？ 和Java的IKAnalyzer差不多的。杯具IKAnalyzer没.net版本 最好用的是哪个呢？ 论坛

C# 分词算法,ChineseAnalyzer,源代码分析，其他地方的代码都是稀烂。。。。

02-27 阅读数 1529

1.引用文件下载地址：点击下载2.引用一个Lucene.Net.dll文件3.添加新类库文件 WordTree.csusing System;using System.Collections;usin... 博文 来自： 我说我长的不帅，她们说我说谎，还打我。

C#使用Lucene中文分词

05-27 阅读数 238

C#使用Lucene中文分词准备工作开始搭建如何插入一段漂亮的代码片准备工作NuGet引入Lucene.Net包。开始搭建几个中文分词的类：ChineseAnalyzer、ChineseTokeniz... 博文 来自： u012532042的博客

C#汉字分词程序

11-23 阅读数 1048

汉字分词有两种算法，一是正向最大匹配原则，另一个就是逆向正大匹配原则。顾名思义，正向最大与逆向最大是相反的思想，本人基于正向最大匹配与逆向最大匹配原则分别完成了汉字的分词程序，希望本人的程序对大家有所... 博文 来自： u012935328的专栏

c# 基于词典的分词

05-09

词典： dict={"མེ་ཏོག་"} dict={"དཀར་པོ"} dict={"དམར་པོ"} string intput="མེ་ཏོག་དཀར་པོ་དང་དམར་པོ་གཉིས།" 分 论坛

c#中文分词类库 可用来做搜索引擎分词 准确率90% 支持Lucene.net

09-08
c#中文分词类库 可用来做搜索引擎分词 准确率90%，提供Lucene。net的支持
下载

C# 分词帮助类

05-04 阅读数 807

using System;using System.Collections;using System.IO;using System.Text.RegularExpressions;namespace... 博文 来自： 除却猩猩不是猿

C# 基于ShootSearch的 搜索引擎+网络蜘蛛+分词+详细文档下载

11-07

C# 基于ShootSearch的 搜索引擎+网络蜘蛛+分词+详细文档 相关下载链接：//download.csdn.net/download/elcser/3224926?utm_source=bb 论坛

c#中文分词学习材料

03-04 阅读数 1297

ICTCLASSharpICTCLAS分词系统简介(9)词库扩充SharpICTCLAS分词系统简介(8)其它SharpICTCLAS分词系统简介(7)OptimumSegmentSharpICTCL... 博文 来自： 数学屌丝走在it的道路上

中文分词

10-31 阅读数 15

中文分词：将一段文本拆分为一系列单词的过程。其算法大致可分为基于词典规则和基于机器学习两个类别。基于词典规则：最简单的分词算法，给定一部词典来确定查询与输出的规则。其重点不在于分词本身，而在于支撑词典... 博文 来自： vsym

java 利用IKAnalyzer中文分词

08-15 阅读数 1191

1.pom文件<dependency><groupId>com.janeluo</groupId> <... 博文 来自： caideb的博客

C#中文分词 .NET直接引用版

04-04
直接把NICTCASA.DLL 添加引用 把DATA文件放入bin Debug Data目录即可 namespace Test1 { public partial class Form1 : Form
下载

lucene创建索引高级特性和索引创建参数优化

04-07 阅读数 2

转载地址:http://a280606790.iteye.com/blog/7993471lucene简介1.1什么是luceneLucene是一个全文搜索框架，而不是应用产品。因此它并不像www.b... 博文 来自： weixin_34124577的博客

C# 中文分词算法(实现从文章中提取关键字算法)

12-06 阅读数 1万+

using System;using System.IO;using System.Text;using System.Collections;using System.Collections.Gen... 博文 来自： I'm loving ' IT 追求心随意动

如何用C#实现英文分词

06-29

想用C#实现把一串英文的各个词语分开 如： 原词：howareyou 使用程序分割成：how are you 如何用C#代码实现这个功能。 论坛

『原创』c#下的分词程序(准原创)

01-08 阅读数 27

前言：首先，这是我参考 詹卫东老师的ppt讲座，自己写出来的程序语句，只能说是把老人家的思想，用程序语言表达出来而已，注意的是，这个程序只能做中文的分词，因为词库是中文的，算法需要改进一下才能进行英文... 博文 来自： weixin_34315485的博客

中文分词c#

10-30
该程序是本人上学时做的一个小程序，主要用来解决中文分词
下载

C#中文分词算法：ChineseAnalyzer

03-05 阅读数 3809

1.首先需要引用 2个dll库文件 Lucene.Net.dll +Lucene.China.dllusing Lucene.Net;using Lucene.Net.Analysis;using L... 博文 来自： 尼奥

IKAnalyzerNet-C#中文分词工具包

05-16 阅读数 2553

从2006年12月推出1.0版开始，IKAnalyzer已经推出 了3个大版本。最初，它是以开源项目Lucene为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的IKAnalyzer3.... 博文 来自： 极客神殿

中文分词，原代码有么？字符串分词

04-24

- 问答

资源 | AI、神经网络、机器学习、深度学习以及大数据学习备忘单

04-24 阅读数 55

以下是关于神经网络、机器学习、深度学习以及大数据学习的备忘单，其中部分内容和此前发布的《资源 | 值得收藏的 27 个机器学习的小抄》有所重复，大家可以两篇综合起来看。提示：点击图片查看大图神经网络N... 博文 来自： crhacq798的博客

.NET使用Lucene.Net和盘古分词类库实现中文分词

07-05 阅读数 1万+

.NET中文分词实现http://http://使用Lucene.Net.dll http://www.apache.org/dist/incubator/lucene.net/binaries/2.... 博文 来自： 李君老师的BLOG

求助c#下的分词系统和词库，多谢

08-20

给我个思路 该怎么搞？ 我下载了几个百度词库 bdict格式的 不知道怎么打开怎么用 这个得怎么搞？ 时间有限 不可能花半个月一个月时间去研究分词算法 只能在这上面求助各位了。。。 论坛

基于词库的中文分词算法（C#）！

05-19

急切求基于词库的中文分词算法（C#）！不甚感激！如果有现成的，能发到我邮箱那就更好了,865300050@qq.com 论坛

C#实现的中文分词程序

11-23
用键树实现对中文文本的分词处理，使用C#语言实现，希望能对大家有所帮助
下载

C# 一个简单分词程序的思路和代码（二） 键树

10-25 阅读数 1967

首先先描述下我们要实现的结果这是我上一篇blog的内容 准备把以前的一个分词程序贡献出来，希望给大家一个思路。这个程序我现在已经不用，因为有更好的算法去分，速度更快，所以这个就帮大家起一个抛砖引玉的作... 博文 来自： 芽芽民工广场

海量分词研究版C#接口

08-04 阅读数 2803

 using System;using System.Collections.Generic;using System.Runtime.InteropServices;using System.Tex... 博文 来自： 天涯海角

C# 一个简单分词程序的思路和代码（六） 源代码 ，测试程序，词库下载地址

10-27 阅读数 1370

下面给出测试程序下载地址 http://download.csdn.net/source/271485词库下载地址 http://download.csdn.net/source/271481源代码下... 博文 来自： 芽芽民工广场

C# 一个简单分词程序的思路和代码（七） 后记

10-29 阅读数 1000

这个分词程序在六的时候已经结束我，原来不怎么想写后记的，因为看的人也不是很多，不过竟然放出来共享了，也希望给大家一些提示去优化他，也希望有优化好的朋友可以公开他的优化代码。分词系统网上有几个小例子，一... 博文 来自： 芽芽民工广场

C#汉语分词程序

11-23
C#汉字分词程序,正向最大匹配方法与逆向最大匹配方法均已经实现
下载

拼音分词-C#实现

05-07 阅读数 580

分词；拼音检查；C# 博文 来自： qq_30625217的博客

VC++ C# 多种分词方法

12-28
含有多个分词算法。毕业设计的时候获得的，希望对大家在汉字处理中能用的到。 ICTCLAS算法，中科院，对名字识别能力很强。VC开发。 CSharp分词，向前匹配加向后最大匹配，C#开发，容易扩展。 小
下载

ElasticSearch自定义分析器-集成结巴分词插件

02-07 阅读数 56

关于结巴分词 ElasticSearch 插件：https://github.com/huaban/elasticsearch-analysis-jieba该插件由huaban开发。支持Elastic... 博文 来自： weixin_30731305的博客

史上最详细的IDEA优雅整合Maven+SSM框架（详细思路+附带源码）

10-29 阅读数 7万+

网上很多整合SSM博客文章并不能让初探ssm的同学思路完全的清晰，可以试着关掉整合教程，摇两下头骨，哈一大口气，就在万事具备的时候，开整，这个时候你可能思路全无 ~中招了咩~ ，还有一些同学依旧在使用... 博文 来自： 程序员宜春的博客

爬虫小程序 - 爬取王者荣耀全皮肤

09-04 阅读数 1万+

王者荣耀全皮肤图片爬取 博文 来自： 君莫笑

从入门到精通，Java学习路线导航

11-12 阅读数 8万+

引言 最近也有很多人来向我"请教"，他们大都是一些刚入门的新手，还不了解这个行业，也不知道从何学起，开始的时候非常迷茫，实在是每天回复很多人也很麻烦，所以在这里统一作个回复吧。 Java学习路线 当然... 博文

如何优雅的爬妹子网

11-23 阅读数 2万+

from urllib import request import os from user_agents import ua_list import time import random impor... 博文

花了20分钟，给女朋友们写了一个web版群聊程序

11-28 阅读数 2万+

参考博客 [1]https://www.byteslounge.com/tutorials/java-ee-html5-websocket-example 博文

对计算机专业来说学历真的重要吗？

09-27 阅读数 13万+

我本科学校是渣渣二本，研究生学校是985，现在毕业五年，校招笔试、面试，社招面试参加了两年了，就我个人的经历来说下这个问题。 这篇文章很长，但绝对是精华，相信我，读完以后，你会知道学历不好的解决方案... 博文

Java入门学习路线目录索引（持续更新中）

10-08 阅读数 1万+

新增： Redis 入门 【Redis缓存】- 入门——Redis介绍和环境搭建【Redis缓存】- Redis数据结构、基本命令操作、持久化【Redis缓存】- Java客户端Jedis Sp... 博文

SpringBoot学习笔记三、http接口请求

12-07 阅读数 210

controller package com.example.demo.controller; import java.util.HashMap; import java.util.Map; ... 博文

程序员必须掌握的核心算法有哪些？

10-21 阅读数 8万+

由于我之前一直强调数据结构以及算法学习的重要性，所以就有一些读者经常问我，数据结构与算法应该要学习到哪个程度呢？，说实话，这个问题我不知道要怎么回答你，主要取决于你想学习到哪些程度，不过针对这个问题，... 博文

Python——画一棵漂亮的樱花树（不同种樱花+玫瑰+圣诞树喔）

10-22 阅读数 6万+

最近翻到一篇知乎，上面有不少用Python（大多是turtle库）绘制的树图，感觉很漂亮，我整理了一下，挑了一些我觉得不错的代码分享给大家（这些我都测试过，确实可以生成） one 樱花树 动... 博文

这应该是把计算机网络五层模型讲的最好是文章了，看不懂你打我

10-25 阅读数 3万+

帅地：用心写好每一篇文章！ 前言 天各一方的两台计算机是如何通信的呢？在成千上万的计算机中，为什么一台计算机能够准确着寻找到另外一台计算机，并且把数据发送给它呢？ 可能很多人都听说过网络通信的 5 ... 博文

HTML CSS整理笔记

10-26 阅读数 2万+

常见字体单位： 1.em 移动端常用的字体尺寸单位，说白em就相当于“倍”，比如设置当前的div的字体大小为1.5em，则当前的div的字体大小为：当前div继承的字体大小*1.5。 但当div进行嵌... 博文

史上最全的mysql基础教程

10-28 阅读数 3万+

启动与停止 启动mysql服务 sudo /usr/local/mysql/support-files/mysql.server start 停止mysql服务 sudo /usr/loc... 博文

有哪些让程序员受益终生的建议

10-28 阅读数 7万+

从业五年多，辗转两个大厂，出过书，创过业，从技术小白成长为基层管理，联合几个业内大牛回答下这个问题，希望能帮到大家，记得帮我点赞哦。 敲黑板！！！读了这篇文章，你将知道如何才能进大厂，如何实现财务自... 博文

大学四年自学走来，这些私藏的实用工具/学习网站我贡献出来了

10-28 阅读数 16万+

大学四年，看课本是不可能一直看课本的了，对于学习，特别是自学，善于搜索网上的一些资源来辅助，还是非常有必要的，下面我就把这几年私藏的各种资源，网站贡献出来给你们。主要有：电子书搜索、实用工具、在线视频... 博文

linux系列之常用运维命令整理笔录

11-02 阅读数 1万+

本博客记录工作中需要的linux运维命令，大学时候开始接触linux，会一些基本操作，可是都没有整理起来，加上是做开发，不做运维，有些命令忘记了，所以现在整理成博客，当然vi，文件操作等就不介绍了，慢... 博文

大学四年，我把私藏的自学「学习网站/实用工具」都贡献出来了

10-29 阅读数 9万+

在分享之前，先说说初学者如何学习编程，这个话题想必非常的重要，要学好编程，给你一些学习网站也好、实用工具也好，但前提是你知道如何去学习它。 见过很多初学者，以及小鹿我刚开始学习的时候，也是自己瞎摸索，... 博文

中国麻将：世界上最早的区块链项目

10-29 阅读数 5万+

中国麻将：世界上最早的区块链项目 最近区块链这个玩意又被市场搞的很是火热，相信大部分人都不太清楚这玩意到底是怎么样的一个概念，它来了，它来了，它到底是啥~ 国家都开始发文支持了，下面是一个通俗易懂的... 博文

比特币原理详解

10-29 阅读数 4万+

一、什么是比特币 比特币是一种电子货币，是一种基于密码学的货币，在2008年11月1日由中本聪发表比特币白皮书，文中提出了一种去中心化的电子记账系统，我们平时的电子现金是银行来记账，因为银行的背后是... 博文

Python 基础（一）：入门必备知识

10-30 阅读数 2万+

Python 入门必备知识，你都掌握了吗？ 博文

兼职程序员一般可以从什么平台接私活？

10-31 阅读数 8万+

这个问题我进行了系统性的总结，以下将进行言简意赅的说明和渠道提供，希望对各位小猿/小媛们有帮助~ 根据我们的经验，程序员兼职主要分为三种：兼职职位众包、项目整包和自由职业者驻场。 所谓的兼职职位众... 博文

Ngrok： 超简单的内网穿透，了解一下 ？

10-31 阅读数 1万+

【1】什么是内网穿透？ 首先，我们生活中的网络从应用上可以分为内网和外网； 内网就是你自己的网络环境，就你自己能访问，比如你本地测试进行的localhost； 外网就不言而喻了，你看网页，视频等... 博文

反射全解

10-31 阅读数 1万+

反射的概念 反射的引入： Object obj = new Student(); 若程序运行时接收到外部传入的一个对象，该对象的编译类型是Object，但程序又需要调用该对象运行类型的方法： ... 博文

图解面试题：如何提高SQL查询的效率？

10-31 阅读数 9768

【题目】我们公司的数据量非常大，需要的不仅仅是提取数据，要了解SQL方案优化的。一般在写SQL时需要注意哪些问题，可以提高查询的效率？【解题思路】数据量大的情况下，不同的SQL语句，消耗的时间相差很大... 博文

死磕C语言指针

11-01 阅读数 1万+

兜兜转转还是逃不过 C 语言，这该死的缘分。 先看一眼我的西野七濑 学习自：https://zhuanlan.zhihu.com/p/89121683 目录 1 指针 1.1 指针是乜嘢... 博文

Python十大装B语法

11-02 阅读数 8万+

Python 是一种代表简单思想的语言，其语法相对简单，很容易上手。不过，如果就此小视 Python 语法的精妙和深邃，那就大错特错了。本文精心筛选了最能展现 Python 语法之精妙的十个知识点，并... 博文

数据库优化 - SQL优化

11-01 阅读数 1万+

从一个示例入手，带你一步一步掌握SQL优化的技巧！ 博文

2019年11月全国程序员工资统计，区块链工程师比算法工资高。

11-02 阅读数 1万+

我每个月第一天（也许是第二天，第三天），会爬招聘网站，并在CSDN发布。 趋势 本月全国程序员平均工资为13451元，比上个月略涨。 北上广深杭工资趋势 区块链程序员的工资 职能 工资 ... 博文

送给单身猿们的表白神器

11-07 阅读数 2万+

问天下男生，有谁想单身？又有谁想单身一辈子？ 虽然本人也是单身狗，但是也是有一个远大的理想，哈哈，大白天的我又开始做梦了 原网址：http://wfhuang.coding.me/LoveJuan... 博文

python学习目录

11-07 阅读数 2万+

这是我学习python的一套流程，从入门到上手 一、Python入门、环境搭建、变量、数据类型 二、Python运算符、条件结构、循环结构 三、Python函数 四、做一次综合练习,做一个控制台... 博文

刷了几千道算法题，这些我私藏的刷题网站都在这里了！

11-08 阅读数 4万+

遥想当年，机缘巧合入了 ACM 的坑，周边巨擘林立，从此过上了"天天被虐似死狗"的生活… 然而我是谁，我可是死狗中的战斗鸡，智力不够那刷题来凑，开始了夜以继日哼哧哼哧刷题的日子，从此"读题与提交... 博文

JavaScript 为什么能活到现在？

11-08 阅读数 9731

作者 | 司徒正美 责编 |郭芮 出品 | CSDN（ID：CSDNnews） JavaScript能发展到现在的程度已经经历不少的坎坷，早产带来的某些缺陷是永久性的，因此浏览器才有禁用Ja... 博文

别翻了，这篇文章绝对让你深刻理解java类的加载以及ClassLoader源码分析【JVM篇二】

12-01 阅读数 1万+

点进文章的盆友不如先来做一道非常常见的面试题，如果你能做出来，可能你早已掌握并理解了java的类加载机制，若结果出乎你的意料，那就很有必要来了解了解java的类加载机制了。代码如下嗯哼？其实上面程序并... 博文

项目中的if else太多了，该怎么重构？

11-11 阅读数 2万+

介绍 最近跟着公司的大佬开发了一款IM系统，类似QQ和微信哈，就是聊天软件。我们有一部分业务逻辑是这样的 if (msgType = "文本") { // dosomething } else if... 博文

Nginx 原理和架构

11-09 阅读数 8456

Nginx 是一个免费的，开源的，高性能的 HTTP 服务器和反向代理，以及 IMAP / POP3 代理服务器。Nginx 以其高性能，稳定性，丰富的功能，简单的配置和低资源消耗而闻名。 Nginx... 博文

YouTube排名第一的励志英文演讲《Dream(梦想)》

11-12 阅读数 2万+

Idon’t know what that dream is that you have, I don't care how disappointing it might have been as y... 博文

动画图解：十大经典排序算法动画与解析，看我就够了！（配代码完全版）

11-13 阅读数 2万+

排序算法是《数据结构与算法》中最基本的算法之一。 排序算法可以分为内部排序和外部排序。 内部排序是数据记录在内存中进行排序。 而外部排序是因排序的数据很大，一次不能容纳全部的排序记录，在排序过程... 博文

“狗屁不通文章生成器”登顶GitHub热榜，分分钟写出万字形式主义大作

11-13 阅读数 4万+

一、垃圾文字生成器介绍 最近在浏览GitHub的时候，发现了这样一个骨骼清奇的雷人项目，而且热度还特别高。 项目中文名：狗屁不通文章生成器 项目英文名：BullshitGenerator 根据作... 博文

程序员需要了解的硬核知识之操作系统入门

11-13 阅读数 2536

对于程序员来说，最莫大的荣耀莫过于自己的软件被大多数人使用了吧。 历史文章请戳 程序员需要了解的硬核知识之内存 程序员需要了解的硬核知识之CPU 程序员需要了解的硬核知识之二进制 程序员需要了解的硬核... 博文

程序员：我终于知道post和get的区别

11-14 阅读数 5万+

是一个老生常谈的话题，然而随着不断的学习，对于以前的认识有很多误区，所以还是需要不断地总结的，学而时习之，不亦说乎... 博文

Java I/O体系从原理到应用，这一篇全说清楚了

11-13 阅读数 1943

本文介绍操作系统I/O工作原理，Java I/O设计，基本使用，开源项目中实现高性能I/O常见方法和实现，彻底搞懂高性能I/O之道基础概念在介绍I/O原理之前，先重温几个...... 博文

Java世界最常用的工具类库

11-20 阅读数 1万+

Apache Commons Apache Commons有很多子项目 Google Guava 参考博客 博文

python json java mysql pycharm android linux json格式 c# 定义手势 c#字符串轉時間 c#开发手机app c# 正则表达式 c#文件加密程序 c# label 透明 c#object作参数 c#实例 ssl c#继承列表 c# 跳转窗口

没有更多推荐了，返回首页

©️2019 CSDN 皮肤主题: Age of Ai 设计师: meimeiellie

分享到微信朋友圈

×

扫一扫，手机浏览