一个成熟系统的每个部件都该定期被质询：这套多模态架构里，视觉塔十年间从 ViT-B 升到 SigLIP-2（四百亿图文对训练），文本塔却还停在被 public 诟病已久的 77 token 上限。LLM2CLIP 的工作就是回答”把文本塔换成 LLM 会怎样”——答案是能换，但要用对方法。
一、起点：视觉塔在进化，文本塔在原地
CLIP 是多模态领域的基础设施：LLaVA、Qwen-VL 这类多模态大模型依赖它的视觉特征，Stable Diffusion 3、Wan 这类文生视频模型依赖它的文本编码器。过去几年，视觉编码器的迭代清晰可见——从 ViT-B 到 EVA02 再到 SigLIP-2（约四百亿图文对训练），但文本编码器一直停在原始设计：一个约三分之一视觉塔参数量的小模型，77 token 上限。
文本嵌入”粗糙、上限低”是社区公认的问题，此前的修补路线几乎全部集中在改描述数据上：DCI 用人工标注重写描述，LaCLIP 用 ChatGPT 与 Bard 改写，DreamLIP 用 ShareCaptioner 生成，Recap-DataComp-1B 用 Llama3 训练的 LLaVA-1.5 重写十亿级网络图片。这些方法让描述更细，再重新训练 CLIP——描述变长之后，又不得不用摘要等折中手段把长度压回 77 token 的上限。
另一条看似直接的路是”把视觉塔也换成大模型”。论文里给了一个冷静的反例：VLM2Vec 构建在 70 亿参数的 LLaVA-1.6 上、用 1344×1344 高分辨率训练，在 Flickr30K 检索上却输给了 4 亿参数的 SigLIP-2 So/14（384×384 分辨率）。参数规模大不等于用得上——缺的不是容量，是适配多模态对比学习的训练方法。这正是 LLM2CLIP 要解决的问题。
二、方法：两阶段，先”embedding 化”再替换
方法的骨架分两个阶段：Stage 1 把 LLM 微调成合格的文本嵌入器（与 CLIP 无关的纯文本训练），Stage 2 用微调后的 LLM 替换 CLIP 的文本塔（与冻结的视觉塔做对比学习）。论文原图把这套流程画成了一张总览图——左半是 Stage 1 的对比微调（MNTP 与 SimCSE），右半是替换文本塔后的 CLIP：
图源：Huang 等，LLM2CLIP（AAAI 2026）论文原图 Figure 1
两个阶段的成本加起来，与一次普通的 CLIP 微调相当。
Stage 1：LLM 的 caption 对比微调
基座选 LLaMA 3.1 8B，三个架构决策：
- 去掉因果注意力掩码，让 LLM 变成双向注意力——嵌入需要看全句，自回归的”只看左边”不合适
- 去掉适配器，直接用 LLM 输出层的特征表示整个句子——平均池化与取 EOS 位置两种方案实测接近，默认取平均池化
- 特征从 LLM 的中间层取出后加一个可学习的投影
训练方法上有一个反直觉的消融结论：MNTP（掩码下一 token 预测）单独使用、或与对比学习组合使用，效果都不如纯文本对比微调。MNTP 改良自 BERT 的完形填空（在被掩码位置的前一位做预测，对齐 LLM 的下一 token 习惯），虽然对纯文本嵌入有效（LLM2Vec 已验证），但在多模态场景里不是关键。真正起作用的是有监督文本对比学习：用同一张图的两条不同描述互为正样本，配上系统提示词”给定描述，检索相似的描述”；无监督 dropout 变体可用但默认不用。
Stage 2：替换 CLIP 的文本塔
微调后的 LLM 进入 CLIP 后，面临一个组合选择问题——新的 LLM 文本塔和旧的 CLIP 文本编码器怎么搭配？论文测了四种方案：
(a) 删掉原文本编码器，LLM 直接与视觉编码器做跨模态对比学习
(b) 两个文本编码器都保留，各自独立做 CLIP 损失
(c) 在 (b) 之上，加一项 LLM 与原编码器之间的对比任务
(d) LLM 与原编码器的特征拼接后再与视觉塔对比
结论是选 (a)：简单且效果最好。训练数据用 DreamLIP、Recap 这类用大模型为每张图生成多条密集描述的数据集——每张图的多条描述互为正样本，这让对比学习天然带上了”长文本”的训练信号。
显存问题用一个 offloading 技巧解决：LLM 的优化器状态与梯度在 CPU 和 GPU 间搬运，同等的算力可以把 batch 开大十倍、训练时长延长四倍，最终效果优于小 batch 方案。
三、为什么直接替换会塌缩，而两阶段不会
Stage 2 选择里最值得展开的是 (a) 与 (d) 的取舍——它揭示了这类”换骨干”操作的核心风险：表示坍缩。
新接入的 LLM 特征与原有视觉特征处在两个不同的几何空间里。如果训练信号只要求”图文对齐”而不约束 LLM 自身的特征分布，LLM 的输出可能坍缩到一个窄流形上——所有句子的向量挤在一起，对比损失的排名表面上还在，空间里已经没有语义结构了。方案 (c) 里 LLM 与原文本编码器之间的对比任务，本质是给 LLM 一个”保持空间展开”的正则信号。
LLM2CLIP 的消融（Ablation）把这条路验证得很扎实：Stage 1 的 MNTP 对特征质量有效（LLM2Vec 已证明），但”MNTP 加对比学习”在多模态场景里反而不如纯文本对比微调——多模态对齐需要的特征分布，与纯文本检索任务要求的分布不同。Stage 1 的作用由此重新定位：它不是在做”最后的嵌入训练”，而是在为 Stage 2 准备一个几何结构合适的 LLM 特征空间，让 Stage 2 的跨模态对齐有一个好的起点。
这套”分阶段准备特征空间”的思路，对任何”换骨干”类的改造都通用：先在源任务上把新骨干的特征分布调整到接近旧骨干的状态，再做跨模态对齐，比一步到位稳定得多。
四、结果
数字先给结论：在不做大规模重训的前提下，LLM2CLIP 全面超过了 EVA02 与 SigLIP-2 这两个最强的 CLIP 变体。
跨模态检索上，给 SigLIP-2 换上 LLM2CLIP 文本塔后：短文本检索 +1.0/+1.9，长文本检索 +14.8/+15.8，多语言任务 +11.9/+15.2（两组数对应不同评测设置）。长文本的提升幅度最大，这正呼应了动机——大模型的语言理解力，最终兑现为”处理长而复杂的描述”的能力。
零样本检索的完整数字（论文附录表，ViT-B/16 同骨干同分辨率对照，数值为 recall@1；I2T = 以图搜文，T2I = 以文搜图）：
| 数据集 | 基线 CLIP（I2T / T2I） | + LLM2CLIP-15M（I2T / T2I） | 提升 |
|---|---|---|---|
| Flickr30K | 82.3 / 62.2 | 91.8 / 80.7 | +9.5 / +18.5 |
| COCO 5K | 52.4 / 33.1 | 64.8 / 52.4 | +12.4 / +19.3 |
| ShareGPT4V-1K | 84.5 / 79.8 | 97.8 / 97.6 | +13.3 / +17.8 |
| Urban1K | 67.5 / 53.1 | 90.1 / 92.1 | +22.6 / +39.0 |
| DOCCI | 60.7 / 57.1 | 86.1 / 86.9 | +25.4 / +29.8 |
两个读法。一是长文本数据集的提升最大（Urban1K 的 T2I 提升 39 个点、DOCCI 两个方向都提升 25 个点以上）——长描述正是”文本塔容量不足”最先暴露的地方，也是 LLM 文本塔兑现价值最大的地方。二是同表里的 Long-CLIP、jina-clip-v2 这类专门为长文本设计或用更强数据训练的对比模型，也全部被拉开——说明这个差距不是随便换个数据方案能补的。
下游任务全线受益，逐项的数字：线性探针分类（ImageNet 上 83.9 → 84.4）；零样本分割在五个基准上全面提升（如 ADE 11.5 → 15.8、VOC 21.0 → 29.1，mIoU 口径）；开放词表目标检测（OV-COCO 基准 46.0 → 48.0）；以及作为多模态大模型的视觉 token 骨干（接到 LLaVA-1.5 上，17 个基准中多数提升）。
一组有说服力的检索对比实例（论文 Figure 2）：微调前，Llama3 的文本检索结果经常与查询毫无关系；微调后，top-1 结果与查询在语义上正确对应。
图源：同上，论文原图 Figure 2这说明 Stage 1 的微调不是在”美化分数”，而是真的在建立查询与目标之间的语义连接。
五、获奖与时间线
论文 2024 年 11 月挂上 arXiv（微软研究院等多机构合作），2025 年迭代到 v5，被 AAAI-26 评为杰出论文（Outstanding Paper Award，获奖页明确列出）。被引次数已超过 46 次，代码与模型开源在 aka.ms/llm2clip。
AAAI-26 同届的杰出论文还有视觉-语言-动作模型 ReconVLA、因果结构学习、超图神经网络等——LLM2CLIP 在其中是”工程价值最直接”的一类：它改进的 CLIP 文本塔，当下正被无数多模态系统当作基础设施使用。
六、可复用的三个启发
升级瓶颈部件，而不是整体重构。系统成熟之后，最有效的改进往往不是推倒重来，而是找到”拖后腿的那个部件”单独升级——前提是能说清”为什么这个部件是短板”（LLM2CLIP 的论证：视觉塔十年换了三代，文本塔没动）。
换骨干之前，先对齐训练目标。直接把大模型塞进对比学习框架会塌缩；先用纯文本对比微调让 LLM 的特征空间”成型”，再做跨模态对齐，是稳定路径。这个分阶段思路适用于任何跨空间的表示替换。
嵌入模型是有”保质期”的选型。LLM2CLIP 证明了文本塔可以被更强的语言模型替换且只需轻量微调——这意味着今天选定的嵌入模型不是终局，架构设计上应该保留”可替换性”：向量与模型版本绑定存储、评测集独立于模型、重建流程自动化。
七、局限
视觉塔没有升级。LLM2CLIP 只动了文本塔，视觉塔仍是原 CLIP 的 ViT——如果视觉塔本身也是瓶颈（细粒度、密集场景），收益会有上限。
仍然受对比学习范式的约束。该方法没有改变”靠图文对区分”的预训练本质，对需要深度推理的语义理解（多步逻辑、文档结构）帮助有限。
收益依赖密集描述数据生态。Stage 2 的数据来自大模型生成的密集描述，如果业务语料的描述质量差或分布偏，增益会打折。
推理成本上升。LLM 文本塔的参数量与延迟远高于原 77-token 文本编码器——检索侧的查询编码延迟会明显增加，索引侧则不受影响（文档向量仍是离线计算）。
八、常见误解
“用了 LLM 就是用了大模型的全部能力。” LLM2CLIP 只取 LLM 的文本表示能力，生成、对话、工具调用这些能力全部不用。它是把 LLM 当作一个更强大的特征提取器，而不是让 CLIP 变成对话系统。
“文本塔换成 LLM 后，77 token 上限就自动消失了。” 上限消失的前提是训练数据里有长描述——LLM2CLIP 的训练数据是密集描述（recaption），文本塔天然学会处理长输入。但如果换成短描述数据训练，上限依然在。
“这个方法只适用于 CLIP。” 两阶段微调的思路（先适配特征空间、再跨模态对齐）对任何”视觉编码器 + 文本编码器”的对比架构都适用，SigLIP 系的实验已经验证。
“AAAI-26 杰出论文意味着 SOTA。” 它的 SOTA 是相对”没有大规模重训”这一约束的——与用十亿级数据重训的旗舰模型相比仍有差距。它的价值在于成本约束下的最优化，这与”不惜代价刷 SOTA”是两个不同的赛道。
参考
- 2411.04997 — LLM2CLIP: Powerful Language Model Unlocks Richer Cross-Modality Representation — AAAI 2026（CCF-A，Outstanding Paper Award）
- 2103.00020 — Learning Transferable Visual Models From Natural Language Supervision（CLIP）— ICML 2021（CCF-A）
- 2404.05961 — LLM2Vec: Unlocking the Power of LLMs for Text Embeddings — 预印本 2024（论文消融中的 MNTP 即出自其做法）
- 2403.17007 — DreamLIP: Long Caption for Linear Probing on Vision-Language Models — 预印本 2024
- 2406.08478 — What If We Recaption Billions of Web Images with Llama-3?（Recap-DataComp-1B）— 预印本 2024
- 2502.14786 — SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features — arXiv 2025
- microsoft/LLM2CLIP — 官方代码与模型仓库
- AAAI-26 Conference Paper Awards — AAAI 官方获奖名单页
