Advertisement

自注意力(李宏毅, 2022)

阅读量:

模型的输出:

类型一:一对一(Sequence Labeling)。e.g. 词性标注;语音辨识简化版,标注phonon;社交网络图,判断节点会否购买商品。--->Self-attention

类型二:多对一。e.g. sentiment analysis,语者辨识,判断分子特性

类型三:由模型自己决定(seq2seq)。e.g. 翻译、语音识别

第4章 2021年度 - 自注意力机制(Self-attention)(第一部分/上半集)

self attention想要解决的问题:

之前我们的network输入通常为单一向量;然而,在某些情况下输出结果可能是单一数值也可能是分类类别。如果我们需要处理一连串的向量,并且其数量可能会变动,则应该如何应对这种情况?

例子:

比如文字处理的时候:

全部评论 (0)

还没有任何评论哟~