PyTorch NLP One-Hot/Word2Vec/GloVe/FastText

1 需求

2 接口

3 示例

1. One - Hot Encoding（独热编码）
   • 原理 ：
     • 独热编码是一种简单的词表示方法。对于一个包含个不同单词的词汇表，每个单词被表示为一个长度为的向量。在这个向量中，只有一个元素为 1，表示该单词在词汇表中的位置，其余元素都为 0。例如，词汇表是 ["apple", "banana", "cherry"]，“apple” 的独热编码是 [1,0,0]，“banana” 是 [0,1,0]，“cherry” 是 [0,0,1]。
   • 优点 ：
     • 简单直接，易于理解和实现。可以很方便地将文本中的单词转换为机器可处理的向量形式，用于模型输入。
   • 缺点 ：
     • 高维度和稀疏性：当词汇表很大时，向量维度会很高且非常稀疏。例如，一个有 10000 个单词的词汇表，每个独热向量有 10000 个元素，只有一个 1，这会占用大量存储空间。
     • 缺乏语义信息：无法表示单词之间的语义关系。所有向量之间都是正交的，“apple” 和 “banana” 在向量空间中的距离与它们和一个随机噪声向量的距离相同。
   • 应用场景