NLP的词向量Word2vec

1. 词嵌入(Word Embedding)

自然语言是一套复杂体系来承担表达含义的任务，在这套体系中词汇构成了表义的基本单元。依仗名称而来的是词语这一概念所带来的意义内涵与表现形式；而这个词向量则可被视为词汇的特征向量或表征；在计算机科学领域中将词汇映射至实数空间的技术也被称作"word embedding"这一特定技术术语；近年来这种技术已经逐渐发展成为自然语言处理的核心知识基础

词向量即为一个词的向量表示。为了使计算机能够实现一些复杂程度较高的文本语义学习,必须将文本数据编码为计算机可处理的数值形式,因此在自然语言处理领域中这个词向量扮演着非常重要的角色。

在很久远的时候，在很早的时候，在很长的一段时间以前，在很古老的时候，在过去的年代里，在过去的时期里，在过去的很长一段时间内，在过去的年代里，在过去的时间里，在很长的时间之前，在历史上较早的时候，在早期的历史时期里

这种表示有如下缺点：

• 占用空间大
• 词与词之间的向量是正交关系，没有任何语义关联

旨在解决One_hot编码方案所面临的主要挑战和缺陷，在此背景下其词向量概念应运而生。其核心思想在于将单