自然语言处理学习笔记

1.概念及应用场景

自然语言处理技术主要涵盖以下几个关键技术领域：首先是基于机器学习的语言识别技术；其次是依赖深度学习的自动语义分析方法；然后是基于生成模型的文本创作系统；最后还包括人机交互中的关键支撑模块。这些核心技术共同构成了人工智能与计算机科学的重要研究方向之一。

自然语言处理的研究方向：

1. 基础技术：词素解析、语法结构分析、实体识别技术、语义理解模型、文本分析方法论、语言建模理论
   2. 核心技术：机器翻译系统开发、智能问答引擎构建、情感态识别算法设计、信息提取技术实现
   3. 应用实践：搜索引擎系统开发与优化、个性化推荐引擎构建与应用

文本分类的简介：

在NLP的很多子任务中，绝大部分可以归纳为文本分类任务，比如：

• 情感分析（细粒度情感分析）
• 领域识别
• 意图识别

文本分类的定义：

在预设的分类框架内，将待处理文本划分为相应的类别中（其中分属的对象为短文本类型（如句子、标题或商品评论）以及长文本类型（如文章））

文本分类方法：

1. 人工方法：采用基于规则的特征匹配方式进行识别过程设计，在视觉上更为直观易懂。在实际应用中需根据具体任务需求分别设计相应的特征提取策略，在开发过程中会面临耗时耗力的问题。整体而言其精度有限。
2. 机器学习方法：结合各种算法（如SVM、LR、KNN）