Beginner explores NLP (Part 1)

目录

基础知识模块

1. 定义

2. 规范化表达方式

Data Cleaning模块

3. 标点符号的删除处理

4. 文本分词功能

5. 停用词过滤操作

6. 词干提取与词形还原技术

词干提取

词形还原

二者之间的区别与联系

Vectorizing模块

7. 词频统计向量化方法

8. N-gram序列向量化技术

9. 逆文档频率加权计算方法

Feature Engineering模块

10. 新特征的构建过程

11. 数据转换处理步骤

---

基础知识模块构建

1. 概念

使机械设备具备解析人类语言的能力。

涵盖的研究方向包括：

1. 情感倾向分析
2. 主题建模
3. 文本分类
4. 句子切分与词性标注

实施流程如下：

1. 原始文本输入
2. 分词处理
3. 文本清洗（剔除停用词、标点符号及进行词干提取）
4. 向量化处理（将文本转化为数值形式）

2. 正则化表达

在开始学习自然语言处理之前，应当首先掌握正则表达式的基本知识。

在Python编程语言中，需要导入re模块以实现相关功能。

通过re.split('s+', string)函数，可以根据指定的参数对字符串进行分割操作。

使用re.findall(pattern, string)函数