多模态模型

文本是”主模态”，图像、音频、视频都要先被翻译成它能处理的形式——多模态的全部工程问题都从这句话长出来。

一、为什么需要多模态

语言模型已经足够强，但信息并不只以文字存在——这是为什么仍要接入其它模态。原因可以归为三点。

因为信息本来就不只以文字存在。 文档的信息藏在排版里（表格的行列关系、图表里的趋势）；界面的状态全在像素里（按钮能不能点、报错在哪一行）；语音和视频带着时序和语气——硬把它们转成文字，等于主动丢信息。

因为人本身就是多模态学习者。 看图识字、听声辨意，单一模态从来不是人的默认设置。要求模型只从文本理解世界，是给模型加了一个人没有的限制。

最直接的还是工程动机。 企业里真正有价值的信息，大半躺在 PDF、扫描件、设计稿、监控视频里。文本模型碰不到它们，业务就上不了车这比前两条更能解释为什么这几年多模态投入这么大。

二、它是怎么走到今天的

多模态不是新概念，但”大模型时代的多模态”有明显的分水岭。按”解决了什么问题”分四个阶段：

阶段	时间	关键节点	解决了什么
任务专用期	~2010 年代前中期	视听语音识别、图像描述、视觉问答各自建模	证明了跨模态联合建模有收益，但每个任务都要单独设计模型
预训练期	2019-2021	双流/单流两类视觉语言预训练模型；ViT（2010.11929，2020）；CLIP（2103.00020，2021）	ViT 让”图 = token 序列”成为事实标准；CLIP 给出可迁移的图文对齐空间
大模型接入期	2022-2023	Flamingo（2204.14198，2022）→ BLIP-2（2301.12597，2023 初）→ LLaVA（2304.08485，2023 中）	把视觉接进语言模型；LLaVA 证明”一层投影 + 指令数据”就够，接入成本骤降
原生与统一期	2024-2026	原生多模态、理解与生成合流、视觉 token 压缩（如 2610.18858、2610.18399）	从”给文本模型外挂眼睛”转向”同一个模型处理所有模态”，成本成为核心课题

这条线上真正的转折点只有两个，其余都是渐进改良：

1. ViT 把图变成了 token 序列——从这一刻起，多模态不再是两套网络的拼接，而是同一个 Transformer 吃不同来源的 token。第三节的所有架构都建立在这个前提上
2. LLaVA 把接入成本打下来了——一层投影 + 用纯文本强模型合成的指令数据，个人和小团队也能做多模态微调。此前 Flamingo 那类方案要海量图文交错数据和复杂适配结构

至于 2024 年之后的”原生多模态”，与其说是第三个转折点，不如说是在把这两个转折点的红利吃干净：结构同构了、接入选便宜了，下一步自然是合并模型，然后算成本账（第四节）。

三、技术上怎么工作：三步走

抛开产品名词，任何多模态模型都在做三件事：把别的模态编码成 token → 把它和文本对齐 → 让它们进同一个模型。

第一步：图怎么变成 token

这一步由 ViT 类编码器完成（2010.11929）：图被切成小块（patch），每块压平成一个 token，加位置编码，然后进 Transformer。

“图 = token 序列”是多模态能成立的根本原因——文本本来就是这个形式，于是不同模态第一次可以走同一套结构。

从这里长出两个工程要点：

• patch 大小决定 token 数：16×16 的 patch 比 14×14 少约 30% 的 token（同一张图）——这是分辨率策略的第一颗螺丝
• 固定分辨率 vs 原生分辨率：早期做法把所有图缩放成固定尺寸，小字等信息损失在缩放里；NaViT（2307.06304）改成支持任意长宽比与分辨率（patch n’ pack），同时解决缩放损失和显存浪费——现在的高分辨率多模态基本都走这条路

第二步：怎么和文本对齐（三条路线）

这是多模态的核心技术分歧，三条路线的演进也是三代方案。

路线一：对比对齐。 CLIP（2103.00020，ICML 2021）用 4 亿对图文做对比学习：配对的拉近、不配对的推远。它的产出不是”生成能力”，而是一个能比较图文的表示空间——这个空间成了几乎所有多模态模型的公共接口。SigLIP（2303.15343，ICCV 2023 Oral）把它改成 sigmoid 损失，去掉了全局归一化，训练更稳、更适合大规模。

路线二：适配器桥接。 让语言模型保持不动，只在中间加一层”翻译”：

• Flamingo（2204.14198，NeurIPS 2022）：在冻结的语言模型层间插入交叉注意力，让文本能”查询”视觉特征
• BLIP-2（2301.12597）：用一个小而专用的 Q-Former 把图像压成固定数量的查询向量，再喂给语言模型

路线三：投影 + 指令微调（今天的主流）。 LLaVA（2304.08485，NeurIPS 2023 Oral）把 CLIP 的输出经一层投影接到语言模型上，再用纯文本 GPT-4 合成的多模态指令数据微调。它证明了一件事：不需要复杂桥接，一层投影加好数据就够了。

路线	连接方式	训什么	成本
对比对齐	双塔 + 对比损失	两个编码器	高（要海量图文对）
适配器桥接	交叉注意力 / Q-Former	中间适配层	中
投影 + 指令微调	一层投影	投影层 + 语言模型（常用 LoRA）	低（主流选择）

第三步：怎么进同一个模型（以及生成侧）

理解侧走到”投影 + 指令微调”就够了。生成侧是另一套架构：文生图靠扩散——从噪声逐步去噪成图，不是逐 token 生成文本那种方式。

而 DiT（2212.09748）把扩散的去噪过程也交给了 Transformer——于是”画图”和”读文本”在结构上站到了同一个屋檐下。

这就是”统一型多模态”的底气：文本用语言模型的词表、图像用离散化后的视觉词表，让同一个自回归骨干既预测文本 token 也预测视觉 token。 2026 年”理解与生成合流”的趋势（第七节），根子在这里。

音频和视频：换个模态，接入方式就不一样

音频三条路，成本从低到高：

1. 级联：语音 → 专用 ASR 转文字（如 Whisper 类模型，2212.04356）→ 语言模型 → TTS。最稳最便宜，代价是丢掉语气、情绪、环境音
2. 编码器 + 投影：把音频编码器输出投影进语言模型（同视觉做法），保住副语言信息，但对数据要求高
3. 离散化：把音频压成离散 token，与文本共享同一自回归框架——最统一也最难

现实里多数语音产品采用的是第 1 条：先级联跑通，再考虑端到端。

视频的难点不是”怎么接”（本质是一串图 + 音频），而是采样和时序：采样策略直接决定成本（每秒 1 帧和 8 帧差 8 倍）；时序位置编码决定模型分不分得清先后；音视频联合还要解决两条流的时间对齐。

四、成本：一张图占多少 token

多模态的第一道工程墙不在模型，而在 token 数。

按 14×14 patch 计算：

• 一张 336×336 的图 ≈ 576 个 token（约等于一篇 500 字短文）
• 一张 1344×1344 的高分辨率图（切 16 块）≈ 576 × 16 ≈ 9200 个 token
• 视频按每秒 2 帧 ≈ 1152 token/秒，一分钟就是 7 万 token 量级

换算成工程影响：多图的上下文窗口会被迅速吃满，KV cache 随图片数量线性膨胀。所以 2026 年这个方向最热的课题就是省视觉 token——按需分配预算（2610.18858）、混合粒度处理（2610.18399）。

由此得到一条工程结论：“最大分辨率”不应作为默认值——分辨率决定 token 数，token 数决定延迟、显存和成本。

五、怎么训：数据从哪来，分几个阶段

数据从哪来

三条来源，按成本排序：

1. 天然配对：网页图片的 alt 文本、文档的图文混排——量大但噪声高，通常先用模型打分（例如 CLIP 相似度）过滤一遍
2. 人工标注 / 指令构造：为特定任务写”图 + 问题 + 答案”，医疗、工业质检这类专业场景必须这么做
3. 强模型合成：让纯文本的强模型看图片描述与检测框，造出对话、推理、细节问答（LLaVA 的做法）——性价比最高

交错图文数据（interleaved）：真实网页是”一段文字、一张图、再一段文字”。用这种数据训练，模型才学得会”图在文本的哪个位置被引用”——这是多模态助手从”看图问答”走向”能读文档”的关键一步。

三个阶段

阶段一：对齐预训练。 冻结语言模型，只训投影层，让视觉特征落进语言模型的表示空间。便宜，几百到几千步通常就够。

阶段二：多模态指令微调。 用”图 + 指令 → 回答”的数据继续训（这时语言模型也参与）。数据形态和纯文本 SFT 同构，只是消息里多了图像占位符：

{"messages": [
  {"role": "user", "content": [
      {"type": "image", "image": "shot.png"},
      {"type": "text", "text": "这个报错截图里，问题出在哪一行？"}
  ]},
  {"role": "assistant", "content": "第 42 行，userService 的调用没有判空。"}
]}

阶段三：偏好对齐。 思路和纯文本一样（DPO 或 RLHF），数据换成多模态的偏好对：同一张图，两个回答哪个更好。这一步专门治多模态的两个老毛病——幻觉和过度描述。

六、哪里会错：幻觉，和怎么评测

幻觉是多模态的头号问题

它比纯文本的幻觉更”理直气壮”：图里没有的东西，模型也会说看到了——描述一个不存在的人、念一段不存在的文字。2026 年这个方向仍在活跃（例如 2610.18369 在做”先定位证据区域、再回答”的忠实推理）。

三个对策，按性价比排序：

1. 要求引用证据：让模型先说出”从图的哪个区域看出来的”再给结论——一旦要指名位置，就编不出来了
2. 能 OCR 就别让模型认字：文字识别交给专用工具，模型只做语义理解，能消掉一大类”念错、编造文字”的幻觉
3. 提高有效分辨率：很多”幻觉”其实是看不清——小字被降采样糊掉后，模型只能猜

评测要分类看

一个总分看不出问题出在哪，因此评测要分类。多模态能力至少分五类：

类别	考什么	典型失败
感知	认物体、颜色、位置	说错物体在左还是右
OCR / 文档	认字、读表	编造数字、表格读串行
知识	图里的领域知识	认得车但说不出型号
推理	多步推断	数数、比大小、看图算账
幻觉专项	有没有说图里不存在的东西	描述不存在的人或文字

工程做法：每类留 20~50 条自己的真实业务样本跑回归。公开榜只能当参考——污染和”榜单特化”都很常见。

七、往哪走（2026）

1. 统一型在合流：理解和生成放进同一个模型（Omni-RS，2610.18323 在多任务上同时做理解与生成），被认为是下一代主流
2. 视觉 token 的经济学：重心从”怎么看得懂”转向”怎么少看图还不丢信息”
3. 多模态自进化：ReDiS（2610.18388）让模型自己诊断推理错误并迭代
4. 从”看图”到”操作界面”：GUI agent 把截图当输入、动作当输出，多模态由此进了闭环

八、怎么落地

四个坑

坑	表现	对策
分辨率设成默认最大值	延迟和成本暴涨、窗口被吃满	按任务给最小够用的分辨率
图片顺序 / 位置编码	多图时模型张冠李戴	在文本里显式编号（”图 1 / 图 2”）
长上下文的 KV cache	多图 + 长对话显存爆炸	按第四节那笔账算，必要时做 KV cache 分层
拿公开榜当验收	分数虚高	自建 50~200 条真实任务样本做回归

部署侧三件事

• 图片预处理放在哪：缩放、裁剪、编码既吃 CPU 也吃 GPU，放错位置就是吞吐瓶颈——短文本 + 大图的场景下，视觉编码器的算力占比可能超过语言模型本身
• 多模态 RAG：图片和文档页也要能被检索——常见做法是把图先转成”描述文本 + 向量”入索引，命中时把图本身一起塞进上下文
• 降级策略：多模态请求容易超时（图大、token 多），要有兜底：先返回文字部分、图片后到，或者降分辨率重试

九、三个常见误解

“多模态就是能看图。”
看图只是感知。真正的能力分三层：感知（认得）→ 推理（看图能算能推）→ 行动（按图操作界面）。很多所谓”多模态模型”只做到第一层，而业务价值往往在第二、三层。

“图片给得越多越好。”
第四节的账就是为这条准备的：多图按”图数 × 每图 token 数”吃上下文和显存。少而精的图 + 明确的文字指代，通常比一股脑塞十张图效果好。

“统一型一定比拼接型强。”
统一型（同一模型理解 + 生成）在结构上更优雅，但拼接型（成熟语言模型 + 视觉适配）在成本和可控性上仍有优势——尤其是只需理解、不需要生成时。选型看任务，不看潮流。

参考

• 2010.11929 — An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale（ViT）
• 2103.00020 — Learning Transferable Visual Models From Natural Language Supervision（CLIP）— ICML 2021（CCF-A）
• 2204.14198 — Flamingo: a Visual Language Model for Few-Shot Learning — NeurIPS 2022
• 2212.04356 — Robust Speech Recognition via Large-Scale Weak Supervision（Whisper）
• 2212.09748 — Scalable Diffusion Models with Transformers（DiT）
• 2301.12597 — BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models
• 2303.15343 — Sigmoid Loss for Language Image Pre-Training（SigLIP）— ICCV 2023 Oral（CCF-A）
• 2304.08485 — Visual Instruction Tuning（LLaVA）— NeurIPS 2023 Oral（CCF-A）
• 2307.06304 — Patch n’ Pack: NaViT, a Vision Transformer for any Aspect Ratio and Resolution
• 2610.18323 — Omni-RS: Unifying Multi-Task Understanding and Generation
• 2610.18369 — Hallucination-aware Faithful Reasoning
• 2610.18388 — ReDiS: Reasoning-Diagnosis Self-Evolution for Multimodal Models
• 2610.18399 — Bifocal: Training-Free Mixed Granularity Visual Token Processing
• 2610.18829 — OmniCompass: A Holistic Benchmark for Omni-Modal Understanding
• 2610.18858 — Visual Tokens on Demand: Visual Budgeting for Scalable Multimodal Inference