数据科学与大数据分析 项目4 主题建模

Topic Modeling

• 项目概述
  • 项目启动
  • 引用文献

项目介绍

基于Python对Reuters-21578语料库实施LDA主题建模分析。
Python的NLTK库内含Reuters-21578语料资源。请安装nltp Python包：
pip3 install --user -U nltk
为加载该语料集，需在Python交互界面中依次执行如下指令：

import nltk
nltk.download('reuters')
reuters.readme()
reuters.categories()
reuters.raw()

本项目涵盖以下内容：

关于Reuters-21578语料库的基本信息说明。

针对每篇文档的具体实现过程。

将LDA算法应用于该语料库以完成主题建模任务。

LDA模型中各项参数的配置及其所代表的意义。

程序运行结果及主题分布的可视化展示

项目启动阶段

1. 路透社21578语料库概述。

21578数据集被分存于22个文件之中。其中前21个文件各自包含1000篇文档，最后一个文件则收录了578篇文档。此外，所有文件均采用SGML格式进行存储。
每个文件的起始位置均包含一个文档类型声明