注意在非 NLP 领域使用的例子？ [关闭]

【问题标题】：Attention examples that used on non-NLP area? [closed]注意在非 NLP 领域使用的例子？ [关闭]
【发布时间】：2020-02-20 09:01:29
【问题描述】：

当我在寻找注意力实现示例时，带有注意力的编码器-解码器结构总是排在第一位。除了 NLP 之外，有没有其他领域使用注意力的例子？

【问题讨论】：

将在ai.stackexchange.com得到更好的回答
我认为在神经机器翻译（NMT，是 NLP 的一部分）中引入注意力机制后不久，它在本文中被改编为 CV (arxiv.org/pdf/1502.03044.pdf)

标签： machine-learning nlp artificial-intelligence seq2seq attention-model

【解决方案1】：

至少有一个paper 使注意力机制适应非 nlp 领域：分子注意力转换器。分子像图一样构造，类似于句子。一个原子与其他原子有一段距离，它们相互依赖，就像句子中的单词一样。在论文中，他们“通过增加原子间距离和分子图结构的自注意力，使 Transformer (Devlin et al., 2018) 适应化学分子。”

但变压器可能有更多的应用领域，至少在数据具有类似图形的结构并且节点以某种方式相互依赖的领域。

【讨论】：