TF-IDF

词频-逆文档频率（TF-IDF）

词频-逆文档频率（term frequency - inverse document frequency，TF-IDF）由两个核心组成部分构成，即词频（TF）与逆文档频率（IDF）。对于给定的语料库\mathcal{D} = \{ d_{j} \}，其中n_{i, j}代表词条t_{i}在文档d_{j}中出现的次数。

• 词频（TF）：用于衡量词条t_{i}在特定文档d_{j}中出现的频率水平

\text{TF}_{i, j} = \frac{n_{i, j}}{\sum_{k} n_{k, j}}

• 逆文档频率（IDF）：通过将总文档数量除以包含特定词条t_{i}的文档数量，来评估该词条在整个语料库中的重要性程度

\text{IDF}_{i} = \log \frac{| \mathcal{D} |}{| j : t_{i} \in d_j |}

为避免分母为零的情况，在实际计算过程中通常会对公式进行平滑处理：

\text{IDF}_{i} = \log \frac{| \mathcal{D} |}{| j : t_{i} \in d_j | + 1}

• 词频-逆文档频率（TF-IDF）：通过将词频与逆文档频率相乘，得到最终的TF-IDF值，用于表示词条$t_{i