一文读懂「Embedding」嵌入技术

在引言部分指出，计算机系统本身不具备直接解析单个词语或汉字的能力，因此需要将每一个token转换为能够被计算机识别的向量形式，这一过程即为Embedding。

一、什么是Embedding？

🚩拓展了解整数编码和独热编码（one-hot）

Embedding 是一种将文本或图像等高维数据转化为低维度向量表示 的方法。这种表示方式能够提取数据的核心特征，从而在处理、分析以及机器学习任务中实现更高的效率。其主要功能是将原本离散且不连续的数据转化为连续的向量形式，便于计算机进行运算和处理 。

“Embedding”一词的字面含义为嵌入式、嵌入层 。简单来说，我们日常使用的地图可以被视为对现实地理信息的一种Embedding表现形式 ，因为现实中地理环境的复杂程度远超三维空间，但地图通过颜色、等高线等方式尽可能地展现出这些信息。

Embedding 技术能够将原始数据从高维空间映射至低维空间，从而有效降低数据的复杂性与对计算资源的需求，并提升模型训练与推理过程中的效率；

Embedding 向量具有连续性特征，因此可以进行数学运算，如加法、减法以及点积等操作。这使模型能够更深入地理解数据之间的内在联系；

Embedding 技术通常能够捕捉到数据中的语义信息。在自然语言处理领域中，这一特性意味着相似的词语或短语在嵌入空间中会彼此靠近，