自注意力(李宏毅, 2022)
发布时间
阅读量:
阅读量
模型的输出:
类型一:一对一(Sequence Labeling)。e.g. 词性标注;语音辨识简化版,标注phonon;社交网络图,判断节点会否购买商品。--->Self-attention
类型二:多对一。e.g. sentiment analysis,语者辨识,判断分子特性
类型三:由模型自己决定(seq2seq)。e.g. 翻译、语音识别
第4章 2021年度 - 自注意力机制(Self-attention)(第一部分/上半集)
self attention想要解决的问题:
之前我们的network输入通常为单一向量;然而,在某些情况下输出结果可能是单一数值也可能是分类类别。如果我们需要处理一连串的向量,并且其数量可能会变动,则应该如何应对这种情况?

例子:
比如文字处理的时候:

采
全部评论 (0)
还没有任何评论哟~
