Understanding embeddings

一、概念

Embedding 实际上是一种将概念、物体或信息转换为数字序列的方法。它扮演着连接不同领域或世界的纽带角色，并且能够将包括多种数据类型（如文本、图像和视频等）被映射到一个向量空间中。

在该向量空间中，在具有相似特性的对象（如具有相同语义意义的词汇、形态类似的图像以及相关的内容）之间建立对应关系。借助这种方式，在线性代数的基础上设计相应的算法框架以实现对数据的有效处理与分类任务完成。

Embedding 的主要作用包括降维和升维：

• 降维度处理：例如在面对海量数据时（特别是包含海量词汇的文本），若采用one-hot编码方式（即每个单词映射到一个独热向量），将会产生过于稀疏且占用内存大的矩阵（matrix）。而通过引入Embedding层（通过矩阵乘法操作）来进行降维度处理（dimensionality reduction），不仅能够有效减少存储空间的需求（memory consumption），还能显著降低计算复杂度（computational complexity）。
  • 提升维度作用：低维度的数据往往携带的信息较为笼统（aggregated），难以充分反映原始信息中的细微差异或复杂关系。而通过提升维度的作用（role），可以将某些被压缩的信息放大化，并将较为笼统的信息分解为更细致的内容。在持续的学习与优化过程中（iterative