新手探索NLP —— 第十五章

目录

中文语音的机器处理

汉语语言学的研究

未登录词识别

概率图模型

信息熵

互信息

联合熵

条件熵

统计语言模型

隐马尔科夫模型

Viterbi算法

最大熵模型

最大熵原理

GIS实现

条件随机场模型

概念：

线性链条件随机场

不同模型的比较与总结

词性、语块和命名实体识别

词性

语块

命名实体识别

句法理论和自动分析

理论基础

句法分析

PCFG短语结构

NLP中的深度学习

LSMT

信息的筛选过程

新信息的存储方式

状态更新机制

输出结果

损失函数

---

中文语音机器处理技术

交集型切分歧义现象指的是，在汉字序列AJB中，若AJ与JB均能独立成词，则J被定义为交集型歧义词。

组合型切分歧义现象则表现为，在汉字序列AB中，当A、B以及AB三者均可单独构成词语时，该序列即存在组合型切分歧义。

规律表明，某一词汇的出现与其所处上下文中的词汇排列存在密切关联。

在文本中，第n个词语的出现往往与其前后的n-m至n+m范围内的词语具有高度相关性，此区间[-m,m]被定义为窗口范围。

汉语语言学研究综述

未登录词识别

约九成内容属于专有名词，其余部分则由通用新词及专业术语构成。

在自然语言处理领域的探究中，专有名词以及数字、日期等信