word2vec & paravec 技术交流

范涛

发表于2017-04-07

前言

在FastText一节中，曾提及word2vector。在此，将专门探讨word2vector的一些关键技术细节。第一次系统研究word2vector是在2015年下半年，当时团队负责人希望我负责这项技术在文本挖掘项目中的具体实施。彼时，这项技术在国内已经得到了广泛传播，各种技术应用和分享层出不穷，这对我而言是一件非常有利的事情（站在巨人的肩膀上，哈哈）。以word2vector为例，其吸引人之处在于对海量数据的支持以及训练速度的高效性。此前一些基于深度学习的语言模型虽然效果良好，但训练过程较为缓慢，在处理大规模数据时扩展性较差，因此难以在工业界推广应用。然而word2vector成功解决了这一问题，因此迅速在工业界获得了较为广泛的应用。目前，在工业界常见的应用场景包括：词云生成、词典扩充、分类任务、情感分析以及部分深度神经网络模型中嵌入层的初始权重矩阵设置等。

那么什么是paragraph2vector？实际上，paragraph2vector是word2vector的一种扩展形式，并用于文档的向量表示。从实际应用角度来看，paragraph2vector提供了一种更为直接的方式进行表达。因为在实际操作中，人们很少直接使用词向量进行处理，而是更倾向于对文档进行整体的向量表示，并应用于如分类、聚类等