总阅读量:次

⭐⭐⭐ Spring Boot 项目实战 ⭐⭐⭐ Spring Cloud 项目实战
《Dubbo 实现原理与源码解析 —— 精品合集》 《Netty 实现原理与源码解析 —— 精品合集》
《Spring 实现原理与源码解析 —— 精品合集》 《MyBatis 实现原理与源码解析 —— 精品合集》
《Spring MVC 实现原理与源码解析 —— 精品合集》 《数据库实体设计合集》
《Spring Boot 实现原理与源码解析 —— 精品合集》 《Java 面试题 + Java 学习指南》

摘要: 原创出处 AI大模型实验室 「AI大模型实验室」欢迎转载，保留摘要，谢谢！

🙂🙂🙂关注微信公众号：【芋道源码】有福利：

  1. RocketMQ / MyCAT / Sharding-JDBC 所有源码分析文章列表
  2. RocketMQ / MyCAT / Sharding-JDBC 中文注释源码 GitHub 地址
  3. 您对于源码的疑问每条留言都将得到认真回复。甚至不知道如何读源码也可以请教噢。
  4. 新的源码解析文章实时收到通知。每周更新一篇左右。
  5. 认真的源码交流微信群。

Transformer 已经成为了前沿人 AI 技术的代名词，尤其是在自然语言处理（NLP）这一领域。

那么，是什么使得 Transformer 能够如此高效准确地掌握语言的复杂性呢？

让我们一起深入探索 Transformer 架构的核心原理。

但在此之前，不妨先看看它的应用场景。无论是你使用的谷歌翻译还是 ChatGPT，它们背后的强大功能都离不开 Transformer。

谷歌翻译：这个被广泛使用的工具在很大程度上依靠 Transformer 技术，实现了对超过 100 种语言的快速准确翻译。它能够考虑到整个句子的上下文，而非仅仅是单个词语，使得翻译结果更加自然流畅。

Netflix 推荐系统：Netflix 是如何精准推荐你可能喜欢的电影和电视剧的？答案是通过分析你的观看历史和其他用户的数据，Transformer 能够识别出模式和联系，最终向你推荐个性化的内容。

概览：编解码器交响

想象一个特殊的工厂，它不是在组装物理产品，而是在加工处理语言。这个工厂主要由两个部分组成：

  • 编码器（Encoder）：它负责提取信息，通过细致分析输入文本，理解文本中各个元素的含义，并发现它们之间的隐藏联系。
  • 解码器（Decoder）：依托编码器提供的深入洞察，解码器负责生成所需的输出，无论是将句子翻译成另一种语言、生成一个精确的摘要，还是创作一首全新的诗歌。

编码器：解码输入迷宫

编码器的旅程从 “输入嵌入” 开始，此过程中，每个单词都从文本形态转换为数值向量，就好像给每个单词配上了一个独一无二的身份证。

以这个例子为例：

输入文本：例如，“The cat sat on the mat.”

在输入嵌入层，每个单词都被翻译成一个数值向量，就像在一个庞大的字典里，每个单词都有一个对应的 “向量地址”。

这些向量不仅捕捉了单词的含义，还包括：

  • 语义关系（比如，“cat” 和 “pet” 更近，而不是和 “chair”）；
  • 句法角色（比如，“cat” 通常作为名词，“sat” 作为动词）；
  • 句中上下文（比如，这里的 “mat” 很可能是指地垫）。

向量表示如下：

  • “The” -> [0.2, 0.5, -0.1, …]
  • “cat” -> [0.8, -0.3, 0.4, …]
  • “sat” -> [-0.1, 0.7, 0.2, …]

但编码器的工作远不止于此，它还使用了一些关键技术来进一步深入。

自注意力机制是其中的革命性创新。想象为对每个单词打开一束聚光灯，这束光不仅照亮了该单词，还揭示了它与句中其他单词的联系。这让编码器能够理解文本的全貌 —— 不只是孤立的单词，还有它们之间的联系和细微差别。

再次以句子 “The quick brown fox jumps over the lazy dog.” 为例：

首先，每个单词都转换成了一个数值表示，称为 “词嵌入”，就像在一个巨大的词库地图上给每个单词定位。

接下来，自注意力机制为每个单词生成了三个特殊的向量：“查询（Query）”（询问我需要什么信息）、“键（Key）”（标示我有什么信息）和 “值（Value）”（实际的含义和上下文）。

然后，通过比较每个单词的 “查询” 向量与其他所有单词的 “键” 向量，自注意力层评估了各个单词之间的相关性，并计算出注意力得分。这个得分越高，表示两个单词之间的联系越紧密。

最后，自注意力层根据注意力得分加权处理 “值” 向量，这就像根据每个单词与当前单词的相关度，取了一个加权平均值。

通过考虑句中其他单词提供的上下文，自注意力机制为每个单词创建了一个新的、更丰富的表示。这种表示不仅包含了单词本身的含义，还有它如何与句中其他单词关联和受到影响。

多头注意力机制（Multi-Head Attention）可以被理解为有多个分析小组，每个小组关注于词与词之间联系的不同层面。这使得编码器能够全面捕获词义之间的多元关系，从而深化其对语句的理解。

还是以句子：“The quick brown fox jumps over the lazy dog.”为例。

在多头注意力机制中，不同于只使用一个自我关注机制，我们有多个独立的 “头部”（通常是 4 到 8 个）。每个头部都针对每个词分别维护一套查询（Query）、键（Key）和值（Value）向量。

这种机制下的注意力是多样化的：每个头部根据不同的逻辑计算注意力得分，聚焦于词间关系的不同方面：

  • 一个头部可能专注分析语法角色，比如 “fox” 和 “jumps” 之间的关系。
  • 另一个可能关注词序，比如 “the” 和 “quick” 之间的顺序。
  • 还有的头部可能识别同义词或相关概念，例如将 “quick” 和 “fast” 视为相近的词。

通过结合这些不同头部的观点，每个头部的输出被汇总，综合不同的洞察力。

最终，这种综合的表示形式包含了对句子更加丰富的理解，涵盖了词与词之间的多样化关系，而不仅仅是单一视角。

位置编码（Positional Encoding）是为了补充 Transformer 无法直接处理词序的不足，加入了每个词在句中位置的信息。可以想象成给每个分析员一张地图，指示他们应该如何按顺序审视词汇。

继续以句子：“The quick brown fox jumps over the lazy dog.” 为例，来看位置编码是如何工作的：

首先，每个词（如 “The”，“quick” 等）都被转换成一个唯一的数字向量，这就是所谓的单词嵌入，可以看作是在庞大的词库中为每个词分配的唯一标识。

接着，每个词的嵌入会和一个基于其在句中位置计算出的额外向量结合。这些位置向量通过正弦和余弦函数生成，能够反映词之间的远近关系。

  • 低频波动揭示词之间的长距离关系。
  • 高频波动则关注紧密相连的词。

这样，每个词的原始向量与其位置向量相加，形成了一个既含有词义也含有位置信息的新向量。

即便句子的顺序变化，位置向量也能保持词之间的相对位置关系，使得模型能准确理解词与词之间的连接。

前馈网络（FFN，Feed Forward Network）为模型增添了一层非线性处理，使其能够学习到更为复杂的单词间关系，这些关系可能单凭注意力机制难以捕捉。

通过前面几层的分析，你已经深入理解了句中单词的含义、它们之间的联系以及它们的位置。现在，FFN 就像是一只侦探用的放大镜，准备揭示那些不立即显现的复杂细节。

FFN 通过以下三个关键步骤来实现这一目标：

  • 非线性变换：FFN 通过使用 ReLU 等非线性函数来增加信息的复杂性，而非直接进行简单计算。可以想象它为现有信息施加了一个特殊的滤镜，揭露了那些简单运算可能忽视的隐藏模式和联系。这使得 FFN 能够把握词与词之间更加细腻的关系。
  • 多层次分析：FFN 不是单一步骤，而是通常由两层或更多的全连接层组成。每一层都在前一层的基础上进一步转换信息，就像你在不断放大镜下审视句子，每一层都揭示出更多细节。
  • 维度变换：在第一层，FFN 将信息维度扩展（如从 512 维扩到 2048 维），以便分析更多特征并捕捉更复杂的模式。这就像是在更大的画布上展开信息进行深入审查。随后，在最终层将信息维度缩减回原始大小（比如又回到 512 维），确保与后续层的兼容性。

应用到我们的句子上：

想象 FFN 帮助识别 “quick” 和 “brown” 不仅描述了 “fox”，还通过它们联合的含义巧妙地与 “fox” 的速度感联系起来。

或者，它可能深入探究 “jumps” 和 “over” 之间的关系，理解这个动作和空间关系，超越了它们单独的定义。

重复、优化、再重复：自注意力、多头注意力等层被叠加并多次重复。每一次迭代，编码器都在精细化其对输入文本的理解，构建出一个全面的文本表征。

解码器：编织输出挂毯

现在，轮到解码器承担任务。与编码器不同的是，解码器面临着额外的挑战：在不预见未来的情况下，逐字生成输出。为此，它采用了以下策略：

  • 掩蔽自注意力：类似于编码器的自注意力机制，但有所调整。解码器仅关注之前已生成的单词，确保不会利用到未来的信息。这就像是一次只写出一个句子的故事，而不知道故事的结局。
  • 编码器 - 解码器注意力：这一机制允许解码器参考编码好的输入，就像写作时回头查看参考资料一样。这确保了生成的输出与原始文本保持一致性和连贯性。
  • 多头注意力和前馈网络：与编码器相同，这些层帮助解码器深化对文本中上下文和关系的理解。
  • 输出层：最终，解码器将其内部表征逐一转化为实际的输出单词。这就像是最后的装配线，把所有部件组合起来，形成期望的结果。

超越基本概念

请记住，这只是 Transformer 世界迷人之处的一瞥。具体的架构会根据任务和数据集的不同而有所变化，包括不同数量的层和配置。

此外，每一层涉及的复杂数学运算超出了本解释的范围。

但希望这能让你基本理解 Transformer 如何工作，以及它们是如何彻底改变自然语言处理（NLP）领域的。

因此，当你下次遇到流畅的机器翻译或对 AI 驱动的文本生成器的创意赞叹时，请记住 Transformer 内部编码器与解码器之间的精妙互动，它们是如何通过注意力机制和并行处理技术共同织就这场魔法的。

论文链接：https://arxiv.org/abs/1706.03762

原文链接：https://nintyzeros.substack.com/p/how-do-transformer-workdesign-a-multi

文章目录
  1. 1. 概览：编解码器交响
  2. 2. 超越基本概念