NLP 评估方法是什么

当前对于词向量的评估方式通常被划分为两种主要类型，分别为extrinsic evaluation与intrinsic evaluation，即内部评估和外部评估。

内部评估

内部评估主要用于直接测量词语间的句法关联与语义联系。这类任务一般包含一组事先确定的查询词汇及与其语义相关的靶向词语，我们将其统称为query inventory。

similarity 相关性度量

目前大多数研究（例如通过多种方式优化 word embedding）均以 wordsim353 等词汇相似性数据集 为基础，进行相关性评估，并将其作为衡量 word embedding 效果的重要依据。然而，这种依赖相似性指标的评估方法对训练数据的规模、所属领域、来源背景以及词表的选择具有高度敏感性。此外，由于数据集容量有限，往往难以全面反映实际效果。

评估所使用的数据集通常由成对的词语构成，通过计算这两个词语的 embedding 向量之间的余弦相似度，该数值应与人类主观判断的相关性评分（如 Spearman 或 Pearson 相关系数）保持较高的一致性。

word analogy 类比推理

若给出两个词语 (a, b) 以及一个单独的词语 c，任务的目标是确定一个词语 d，使得 c 与 d 之间的关联性与 a 与 b 之间的关联性相匹配。例如，当给出 (中国，北