给 Qwen3.5 做完 LoRA 微调之后,我去看它的架构文档,发现一件值得关注的事:这个模型的多数层已经不是注意力了——它们被换成了 Mamba 类的线性层(Gated DeltaNet),只有少数几层保留标准注意力。换句话说,我微调的不是一个”纯 Transformer”,而是一个混合体。这不是 Qwen 一家的选择:Nemotron、Jamba、Falcon-H1、Granite 4 都在走这条线。这篇把 Mamba 的来龙去脉讲清楚——它是什么、凭什么、短在哪,以及混合架构为什么成了当前的收敛答案。
一、先看注意力的账单
注意力机制是过去八年大模型成功的地基,但它有一张越滚越大的账单。自注意力要对序列中每对 token 计算相似度:序列长度翻倍,计算量翻四倍——O(N²) 是写进公式里的。而推理时的代价更直观:为了支持”每个新 token 都能回看全部历史”,必须把所有历史 token 的 Key 和 Value 缓存下来,这就是 KV cache——它随上下文长度线性增长,永不释放。
短上下文时代这张账单不显眼:4K 上下文的 KV cache 只占几百 MB。但当上下文走到 128K、1M,账单开始压垮预算:KV cache 以 GB 计,prompt 处理的计算量按长度平方涨,吞吐随长度骤降。”把上下文开到 1M”这个需求,对纯注意力架构来说不只是贵,是物理上放不下。
所以社区一直在找替代品——线性注意力、门控卷积、各类循环变体都试过,长期没有赢家:便宜是真便宜,语言建模质量真不行。转折发生在 2023 年底:Mamba 出现。
二、Mamba:一页有选择地更新的笔记
从 S4 到 Mamba 的两步
Mamba 不是凭空冒出来的,它前面有一段铺垫。S4(2021,Gu、Goel、Ré)先把控制论里的状态空间模型(SSM)引入序列建模:维护一个隐藏状态 h,每读一个输入更新一次,从状态读出输出。S4 用”结构化参数化”解决了 SSM 计算量的问题,在 Long Range Arena 那类超长序列基准上横扫——但它有个致命限制:参数是固定的,无论读到什么内容,状态更新的方式都一样,模型无法”因内容而异”地决定记什么忘什么。处理文本这种离散信息时,这几乎致命。
Mamba(2023-12,Gu & Dao)的关键一步就是选择性(selective):把状态更新的参数改成当前输入的函数——读到什么,决定写入什么、淡忘什么。一句话概括机制:
每读一个 token,先判断它的信息价值,再决定让状态里哪些旧信息衰减、哪些新信息写入——“选择性”让固定大小的状态变成了一个智能的、内容感知的记忆。
配套的工程难题是:参数随输入变化后,原来的高效卷积计算不能用了。Mamba 的应对是硬件感知的并行扫描算法(parallel scan,内核融合),让”看似必须串行的循环”在 GPU 上高效并行——训练依然是线性的,推理时状态恒定。论文报的数字很直白:推理吞吐是同尺寸 Transformer 的 5 倍,语言建模上 3B 的 Mamba 打平同尺寸 Transformer、追上两倍大的 Transformer。
图源:本文自绘
第三步是 Mamba-2(2024-05,Dao & Gu):提出”状态空间对偶”(SSD)理论框架,证明 SSM 与注意力的一个变体在数学上是同一类结构(半可分矩阵)的两种分解——这给了整个方向一个理论地基:线性注意力和 SSM 不是两个阵营,是一个家族。Mamba-2 的核心层比 Mamba 快 2-8 倍,后来的工程变体(包括 Qwen 用的 Gated DeltaNet)大多沿这条理论线演化。
三、纯 Mamba 的天生短板:细节会忘
如果 Mamba 全面优于注意力,故事到第二节就结束了。现实是:固定大小的状态是一把双刃剑——它是有损压缩,而有些任务恰恰需要无损。
两个基准把这条短板钉死了。MQAR(多查询联想回忆)——Zoology 论文(2023-12,斯坦福 Ré 组)设计的测试:先给一串”键值对”(比如某代号对应某颜色),再问其中某个键对应的值。这需要从上下文里精确取出一条早先的记录——纯 SSM 的固定状态做不到,注意力轻松满分。Copying 任务——Repeat After Me 论文(2024-02)证明:把输入里的字符串原样复制到输出,纯 SSM 的能力有明确的长度上限,注意力没有。
这不是实现 bug,是结构性的:无损记忆需要的状态大小与信息量成正比,而 Mamba 的状态大小是写死的。AI21 的 Jamba 论文在遗传学基准(HG38)上给出了同类证据:长序列中段的精确回忆,Mamba 系显著弱于注意力。缩写、引用编号、代码里的变量名、RAG 注入片段中的原文细节——大模型应用里到处是这类”逐字精确回溯”需求。
四、混合架构:粗活给线性层,回忆给注意力
短板确认后,2024 年的收敛答案非常务实:别二选一,交错着放。绝大多数层用 Mamba 类线性层干粗活(局部语法、语义流动、把长历史压缩进状态),每隔几层插一个标准注意力层当”精确回忆的锚点”。
Jamba 论文给出了这条路线最直接的实验证据:纯注意力、纯 Mamba、不同注意力:Mamba 配比的混合模型同场训练,混合模型在多数配置下损失曲线低于两个纯模型——两个极端都不如折中:

图源:Lieber 等,Jamba: A Hybrid Transformer-Mamba Language Model(2024)Figure 6
图源:本文自绘
代表模型一览(配比为注意力:线性层的典型量级):
| 模型 | 机构 | 配比与特点 |
|---|---|---|
| Jamba(2403.19887) | AI21 | 1:7 左右,注意力+Mamba+MoE 三合一,52B 总参/12B 激活 |
| Nemotron-H(2406.07887) | NVIDIA | 8B,52 个 Mamba 层配 4 个注意力层(约 1:13) |
| Qwen3.x 线 | 阿里 | Gated DeltaNet 线性层 + 门控注意力混合,原生 1M 上下文 |
| Falcon-H1 / Granite 4 | TII / IBM | 同路线的各自变体 |
NVIDIA 的 Nemotron-H 论文(An Empirical Study of Mamba-based Language Models,2024-06)是这条路线目前最系统的实证:把 Mamba、Mamba-2、混合模型训到 8B 规模与 Transformer 对照,结论是混合模型的记忆与推理能力接近 Transformer,同时保住 Mamba 的吞吐优势——纯 Mamba 在回忆与推理基准上的短板被混合补齐。这基本终结了”要不要混合”的争论。
代价也要说清楚:混合架构的收益按注意力占比打折,它的短板也是。长上下文里段的精确回忆仍然弱于全注意力(Jamba 自己的 needle 测试里,中段召回置信度低于首尾);注意力层留得越少,这类差距越明显。配比本身成了新的架构超参数。
顺带把术语对齐:Qwen 用的层叫 Gated DeltaNet(GDN),出自 DeltaNet 谱系(2024 年Songlin Yang 等的并行 Delta 规则工作,后扩展出 GDN 门控变体)——它属于”线性注意力”分支而非原版 SSM,与 Mamba-2 在 SSD 理论框架下同源,工程目标一致(O(1) 推理状态)。社区讨论时把 Mamba/SSM/GDN 统称”Mamba 类层”,本文标题也是这么用的。
五、长上下文的表现与代价
混合架构最直白的收益在长上下文的成本端。Jamba 的对照实验:单张 A100 80GB 能塞下的最大上下文,Jamba 明显长于同量级 Transformer——KV cache 缩到零头,同样的卡就能开更长的窗口、跑更大的并发。

图源:同上,Figure 4
但读这类图要带着第四节的结论:needle 测试测的是”找一条埋进去的针”,混合模型能找到——而真实应用里还有大量”逐字复述整段”的需求,那才是线性层占比的代价所在。翻译里要求原样保留的变量名、代码补全里的精确缩进、RAG 引用段落中的确切措辞,属于后者。
六、使用者的实际影响
作为微调和部署这些模型的人,混合架构带来的变化分两面:
得到的:长上下文的成本结构变了。KV cache 按注意力占比缩水,同样显存能开更长窗口、更高并发;对需要 1M 上下文或高吞吐服务的场景,这是架构级降本。
要留意的,三条来自实践:
- 短上下文无感。2K-8K 的任务里,混合与全注意力的质量和速度差异都在噪声内——它的收益曲线在长上下文才显现,短任务别期待白捡
- 推理引擎的支持版本要对齐。线性层带”卷积状态 + 循环状态”两类额外缓存,vLLM/SGLang 对具体 hybrid 模型的支持是逐个版本成熟的——升级模型时先查引擎对该混合架构的支持状态,别默认所有能力与全注意力模型对齐
- 微调生态的坑更少但存在:LoRA/训练框架(LLaMA-Factory 等)对线性层的支持已基本就绪,但个别依赖 attention 实现细节的技巧(某些 attention hack、KV cache 量化的高级玩法)只作用于那少数几层注意力
七、未知与局限
这条路线还很年轻,几件事没有定论:配比没有最优解(1:3 到 1:13 都有人用,可能取决于模型规模与任务分布);有损压缩的理论边界未完全量化——什么任务在什么长度会开始掉细节,缺少系统性刻画;训练基础设施仍在追赶——线性层的算子生态、分布式并行支持不如注意力成熟,各家都在自建内核;另外混合模型的一些行为特性(缩放定律形状、涌现阈值是否与纯 Transformer 一致)还在观察期。
但方向本身已经清晰:“注意力是唯一正确的架构”这个共识在 2024 年被打破,2025-2026 年旗舰模型的架构图上,注意力从绝对主角变成了少数关键锚点。对你的意义是:下次看一个新模型的架构说明,先问一句——它的注意力占比是多少?这个数字决定了它的长上下文成本、吞吐上限,以及”让它逐字引用原文时”该多留一个心眼。
参考
- 2312.00752 — Mamba: Linear-Time Sequence Modeling with Selective State Spaces — Gu & Dao, 2023(选择性 SSM,10.3k 引用)
- 2111.00396 — Efficiently Modeling Long Sequences with Structured State Spaces(S4)— NeurIPS 2021(结构化 SSM 开山)
- 2405.21060 — Transformers are SSMs: Structured State Space Duality(Mamba-2)— 2024(SSM 与注意力的对偶理论)
- 2312.04927 — Zoology: Measuring and Improving Recall in Efficient Language Models — 2023(MQAR 联想回忆基准)
- 2402.01032 — Repeat After Me: Transformers are Better than State Space Models at Copying — 2024(复制任务短板)
- 2403.19887 — Jamba: A Hybrid Transformer-Mamba Language Model — AI21, 2024(注意力+Mamba+MoE 三合一)
- 2406.07887 — An Empirical Study of Mamba-based Language Models — NVIDIA, 2024(8B 规模混合模型系统实证)
- 2406.06484 — Parallelizing Linear Transformers with the Delta Rule over Sequence Length — 2024(DeltaNet/GDN 谱系,Qwen 线性层的理论来源)