Word Mover Distance (WMD, Word Mover Distance model)
发布时间
阅读量：
阅读量
文本表示方式
词袋模型（BOW, bag of words）是一种广泛使用的文本表示方法。该模型基于以下核心理念：在分析文本特征时，默认不关注词语之间的具体上下文关系，并单独评估每个词语的重要性。其重要性通常与该词语在整体文本中的出现频率相关
举个例子，来说明词袋模型。假设语料库中只有两个句子。
Jane wants to go to Shenzhen.
Bob wants to go to Shanghai.
分词后，将所有词语装进一个袋子里，不考虑词法和语序的问题，即每个词语都是独立的。上面两个句子，就可以构成一个词袋。
[Bob,go, Jane, Shanghai, Shenzhen, to, wants]
那么生面两个句子可以表示为：
[0,1,1,0,1,2,1]
[1,1,0,1,0,2,1]
这两个词频向量就是词袋模型，可以明显看出语序关系已经完全丢失。- TF-IDF
TF-IDF(x) = TF(x)*IDF(x)
其中：
TF（x）={N(x)\over N}
IDF(x) = lg{D\over D(x)}
式中 N(x) 表示文本中词 x 出现的次数，N为文本中词的总数，
D表示文档所在类的总文档个全部评论 (0)
还没有任何评论哟~