注意力机制是现代大语言模型（特别是 Transformer 架构）的核心创新，它解决了长序列信息处理的难题。

​
通俗解释

在阅读一段长文本时，人类不会对每个字都分配同样的注意力。我们会关注关键词，忽略无关紧要的词。 注意力机制让模型在生成下一个词时，能够“回头看”输入序列中的所有词，并动态地计算每个词对当前生成任务的重要性（权重）。

​
自注意力 (Self-Attention)

这是 Transformer 中的关键组件。它允许序列中的每个位置都关注序列中的其他所有位置，从而捕捉长距离的依赖关系。 例如在句子 “The animal didn’t cross the street because it was too tired” 中，模型通过注意力机制能算出 “it” 指代的是 “animal” 而不是 “street”。

​
意义

正是因为有了注意力机制，模型才能拥有强大的上下文理解能力，不再受限于传统的循环神经网络（RNN）的短时记忆瓶颈。