深度理解机器学习 2 文本预处理技术

1.小写/大写转换

这是一种常被忽视但极为实用的预处理手段。其作用在于将全部大写字母转为小写字母，使整个语料库统一为小写形式；或者将所有小写字母转为大写字母，使语料库呈现全大写状态。当数据集规模适中，并且任务要求中因字母大小写的差异而将同一词汇视为不同术语或识别结果时，该方法尤为关键。这是因为计算机系统本身会将大写与小写字母视为两种独立的字符。例如，“A”和“a”在系统中会被当作不同的字符进行处理。这种输入中的大小写差异可能引发错误的识别结果，甚至导致系统无法输出有效信息。

2.去噪

“噪声”这一概念在不同语料库和任务背景下具有多样的定义与含义。针对某一特定任务而言，被判定为干扰信息的内容，在另一任务中或许具备关键价值，这使得相关预处理手段呈现出高度的领域依赖性。例如，在对推文内容进行分析时，标签信息可能有助于识别社会趋势及把握全球热议话题；然而在新闻文章的分析过程中，此类标签往往不具备显著意义，因而会被归类为噪声数据。

3.文本规范化

文本规范化指的是将原始语料库转化为统一且标准表达形式的操作过程，其主要目的在于确保在进行后续分析、处理及操作之前，所有文本输入具备一致性。例如，该过程可以包括将缩略形式转换为完整表达方式，同时将同一词汇的不同拼写形式统一为标准拼写形式等操作。

4.词干提取技术应用

对语料库中的词汇进行词干提