你微调用的 Qwen 已经不是纯 Transformer 了——它的多数层被换成了 Mamba 类的线性层,只留少数注意力层当"精确回忆锚点"。这不是省成本的权宜之计,而是一条有五年代际、有硬核基准的新路线:训练 O(N)、推理状态恒定,代价是细节会忘。这篇从注意力的账单讲起,把 Mamba 的机制、纯 Mamba 为什么不行、混合架构怎么折中,一次说透。
2026-11-19