模型它跑在什么上面。不堆型号参数，按数据流把三类设施串起来，每一类都给选型维度和要算的账。
一、先看数据流：训练和推理，用到的东西完全不同
很多”AI 基础设施”文章一上来就推荐配置，但训练和推理的设施需求几乎相反。先把两条路径并排看：
| 训练路径 | 推理路径 | |
|---|---|---|
| 数据流向 | 数据集 → 算力 → 周期性写 checkpoint | 模型权重（只读）→ 算力 → 返回结果 |
| 读 / 写特征 | 大吞吐顺序读 + 周期性大写入 | 权重只读，状态（KV cache）随并发和上下文增长 |
| 网络角色 | 全程高带宽通信（梯度同步） | 节点内为主，跨节点看并行策略 |
| 典型瓶颈 | 网络与存储 IO | 显存与并发 |
| 停机代价 | 一次 checkpoint 丢失可能损失几小时算力 | 请求失败，可重试 |
记住这张表的结论就够了：训练怕网络和存储，推理怕显存和并发。下面三类设施都围绕这句话展开。
二、算力服务器：按”显存 / 互联 / 生态”三个维度选
先分清两种定位
- 训练卡：显存容量优先（要放下权重 + 梯度 + 优化器状态 + 激活），互联带宽优先
- 推理卡：吞吐/延迟/每 token 成本优先，显存够用即可
同一个模型，训练和推理的硬件选型可能完全不同——这也是为什么很多团队训练租云、推理自己买。
当前代际（截至 2026-10，据 NVIDIA 官方产品线）
不列参数表，只记住代际关系和定位：
- Blackwell 系：GB200 NVL72（72 张 Blackwell + 36 颗 Grace，液冷，把 72 卡做成一个 NVLink 域，官方主打”单机柜跑万亿参数”）、GB300 NVL72（升级到 Blackwell Ultra，定位偏”AI 推理”）
- Vera Rubin 系（更新一代）：NVL72 形态是 72 张 Rubin GPU + 36 颗 Vera CPU，配第六代 NVLink、ConnectX-9 网卡和 BlueField-4 DPU；同时有 8 卡的 DGX/HGX Rubin NVL8（官方明确是液冷，覆盖训练、推理、后训练）
- 服务器版 RTX PRO：RTX PRO 6000（96 GB 显存这一档）这类，适合轻量推理和多工作负载混跑
- 推理专用加速器：官方产品线里也纳入了推理加速器（例如 Groq 3 LPX 那一档：128 GB SRAM、40 PB/s 内存带宽、每机柜 640 TB/s 扩展带宽）。它说明另一条思路——用更大的片上内存和带宽换速度，而不是堆通用算力
常见卡型与显存，以及”国内能不能买到”
显存是硬门槛——它决定你能放下多大的模型、开多长的上下文。下表只写我从官方页核实到的数字：
| 卡型 | 显存 / 规模（官方口径） | 定位 |
|---|---|---|
| H100 | SXM 版 80 GB、带宽 3.35 TB/s、NVLink 900 GB/s；NVL 版 94 GB HBM3 | 训练与推理通用（官方口径：训练比上代快 4 倍、推理快 30 倍） |
| H200 | 141 GB HBM3e，带宽 4.8 TB/s | 训练与推理通用；官方说容量比 H100 接近翻倍、带宽多 40%、功耗不变 |
| GB200 NVL72 | 单柜 72 张 GPU + 36 颗 Grace，NVLink 域内 130 TB/s | 面向万亿参数级；液冷机柜形态 |
| GB300 NVL72 | 72 张 Blackwell Ultra + 36 颗 Grace | 定位偏 AI 推理；沿用同一机柜形态做供电/散热增强 |
| Vera Rubin NVL72 | 72 张 Rubin GPU + 36 颗 Vera CPU | 新一代；第六代 NVLink + ConnectX-9 网卡 + BlueField-4 DPU |
| DGX / HGX Rubin NVL8 | 单机 8 卡 | 覆盖训练、推理、后训练；官方标注液冷 |
| RTX PRO 6000 服务器版 | 96 GB GDDR7 | 轻量推理与多工作负载混跑，单卡能带 7B～30B 级模型 |
| 昇腾（Atlas 系列） | 处理器：Ascend 950PR / 950DT；卡：Atlas 300I A2 / 300V 系列 | 从卡、整机到液冷超节点（Atlas 950 / 900 A3）都有；软件栈是 CANN + MindSpore / MindIE |
（没写的显存就是我没核实到——B200/B300/Rubin 单卡 HBM 容量、昇腾卡显存这几格我留空，不猜。）
国内渠道常见的几张卡（这些数字来自中文技术媒体与参数站，不是我上面那张表的官方口径——媒体数字偶有出入，我核到疑点会标出来）：
| 卡型 | 显存 | 关键差异 | 定位 |
|---|---|---|---|
| L20 | 48 GB GDDR6（支持 ECC），带宽 864 GB/s | 被称作 L40S 的”合规替代”：算力减配、显存满配 | 数据中心推理与渲染 |
| H20 | 96 GB HBM3，带宽 4.0 TB/s | 中国特供；SM 单元约 78 组，只有 H100 SXM 的六成左右，但显存比 H100 的 80 GB 还大 | 面向推理（有来源称其推理性能超过 H100） |
| RTX PRO 6000D | 84 GB GDDR7，位宽 448-bit、带宽 1100 GB/s | 原版 RTX PRO 6000 是 96 GB / 512-bit：特供版显存少 12 GB、位宽低 12.5%、核心少约 18% | 专业图形 + 推理（第三方实测功耗约 419W） |
看完这三行，特供线的规律就清楚了：按管制要求砍算力，但显存尽量给足——显存是”能不能装下模型”的硬门槛，也是用户最在意的参数。
（一个提醒：我在中文来源里看到过”显存 144GB 的 H100”这类说法，和官方页对不上。媒体数字要交叉验证，尤其是显存和带宽。）
关于”国内买得到买不到”：这一列我没能从公开一手来源核实到 2026-10 的现状（出口管制与技术清单是动态的，上表中的型号也有供应波动的报道），所以不把它当表格里的事实，改为给三条判断原则：
- 按当期规定判断，不按去年的经验判断：管制清单和特供型号都会变，采购前一定要看最新口径
- 特供型号的削减方向要看具体型号，别凭印象：从上面三张卡看，规律是削算力与核心数、但保留显存（H20 的 96 GB 反而比 H100 的 80 GB 更大）——用”算力百分比”直接推集群效率、或想当然认为显存也被砍，都会判断错
- 国产加速卡的差距主要在软件生态：型号迭代很快（昇腾已经从 910 系列走到 950 系列），真正的成本在算子覆盖度和迁移工作量——先拿自己的模型跑通，再谈采购批量
三个值得注意的趋势
- 机柜级（rack-scale）成为主流形态：NVL72 这类产品的本质是”把 72 张卡连成一个大 GPU”。买它的钱里有很大一部分买的是互联，因为多机通信往往比算力本身更贵
- 液冷是前置决策，不是后期优化：官方对新一代 8 卡机型的描述里直接写了液冷。这意味着机房改造要提前做，不能等机器到了再想
- 生态比参数更能决定总成本：CUDA 之外还有 AMD、TPU、以及国产加速卡等路线，硬件差价常常被算子覆盖度和迁移成本吃掉——选型时这部分要单独算一笔
三、数据存储：最容易被低估、也最容易卡死训练的一环
存储的坑在于：容量看起来永远够，但带宽和并发会在关键时刻卡死整个集群。
三类数据，三种访问模式
| 数据 | 体量 | 访问模式 | 要求 |
|---|---|---|---|
| 训练数据集 | TB ～ PB | 大块顺序读、多 epoch 重复读 | 高吞吐、可缓存 |
| checkpoint | 单次几十 ～ 几百 GB | 周期性突发写，偶尔读回 | 突发带宽、不能拖慢训练 |
| 推理侧数据 | 权重只读；KV cache / 向量库 | 随机读为主 | 低延迟 |
算笔账（估算，看方法不是看数字）
一次 checkpoint 有多大？ 7B 模型 fp16 权重约 14 GB；训练时还要存优化器状态和梯度，一般是权重的数倍——按 3～4 倍估，单次 checkpoint 落在 40～60 GB 量级。70B 模型就是 400～500 GB 量级。
写入带宽要多少？ checkpoint 是分片写的，总量就是上面那个数。假如一个 70B 的训练任务想在 30 秒内把 500 GB 写完，就需要约 17 GB/s 的持续写入带宽——而难点不只是带宽，是所有 rank 同时写带来的并发压力。
所以存储选型不能只问”多大事”，要问三件事：容量、突发带宽、并发下的稳定性。
分层是标准答案
本地 NVMe（热数据、当前 epoch）→ 并行文件系统或高性能 NAS（checkpoint、共享数据集）→ 对象存储（冷备、归档、实验产物）。别让训练任务直接读对象存储，也别把归档数据塞进最贵的那一层。
推理侧的新战场：KV cache
2026 年有一批工作把矛头指向同一个问题——《KV Cache 是新的内存墙》（2609.30854）。长上下文和高并发下，KV cache 的体量随”上下文长度 × 并发数”增长，很快超过模型权重本身。
于是出现了把 KV cache 分层的思路：按访问频率放到不同介质（显存 → CPU 内存 → SSD → 远端），代表工作有 PulseInfer（2609.34555）、KVFetch（2610.08811）、TierKV（2609.21172）。如果你的推理服务遇到”显存够但并发上不去”，先看 KV cache，不要急着加卡。
四、应用服务器
应用服务器通常不跑大模型，它的职责是”把能力交付出去”：
- 入口：网关、鉴权、限流、计费（多租户必备）
- 会话与上下文：多轮对话的状态管理、上下文裁剪策略
- 模型路由：多模型切换、多 LoRA 挂载（一个底座服务多个任务——这在推理引擎侧是原生能力）
- 异步与队列：长任务、批量任务、失败重试
- 编排分工：推理服务交给 K8s，训练队列通常交给 Slurm，两者别混在一个调度器里
- 依赖存储：向量库（RAG）、Redis（会话/缓存）、对象存储（用户上传、实验产物）
- 观测三件套：延迟分解（首 token 延迟 / 每 token 时间）、每 token 成本、显存与并发水位
模型和硬件买定离手，业务逻辑和成本控制全在这里。 部署参数（--gpu-memory-utilization、--max-num-seqs 这些），实际是推理层之间的旋钮。
五、四档规模：从一张卡到机柜级集群
同一个”AI 建设”，在不同规模下是完全不同的工程。按”你要干什么”倒推配置，每一档都标出最先撞到的墙：
| 档位 | 典型配置 | 能干什么 | 最先撞到的墙 |
|---|---|---|---|
| 1. 单人 / 试验 | 1 张消费级卡或云上按量，模型和数据在本机 | 7B～30B 推理、小规模 LoRA 微调 | 显存：模型装不下、上下文开不长 |
| 2. 部门级生产 | 1～3 台推理机（每台 1～8 卡）+ 1 台应用机 + 对象存储 + 向量库 | 服务几百人的内部问答 / RAG | 并发与成本：KV cache 吃满显存，每 token 成本压不下来 |
| 3. 公司级训练 | 几十到几百卡 + 并行文件系统 + 高速网络 + 调度层 | 从头训 7B 级、或对 70B 做继续预训练与后训练 | 网络与存储 IO：多机扩展效率断崖、checkpoint 拖慢训练 |
| 4. 集团级 / 基础设施级 | 机柜级集群（多柜 NVL72 这类）+ 液冷机房 + 专用存储与网络 + 平台团队 | 千亿到万亿参数，多条业务线共用 | 电力、散热、调度与多租户——这三样比买卡难 |
真正难的不是清单，而是每一档背后那件”必须提前定”的事：
- 第 2 档难在应用层：网关、计费、多租户隔离、观测——都是软件活，但它决定单位成本
- 第 3 档难在网络和存储：扩展效率不由你买到的算力决定，而由互联与 IO 决定；同时得有会调并行策略的人
- 第 4 档难在机房和人才：机柜功率密度决定装机上限，液冷要在土建阶段就定下来；没有平台团队的话，越贵的机器利用率越低
一句话判断标准：瓶颈在哪一层，就只投那一层。 卡买超了而存储/网络/应用层跟不上，等于花钱买闲置。
六、五个最常见的坑
- 网络买便宜了：单机跑得好好的任务，一到多机扩展效率就断崖式下跌——扩展效率是买来的
- 存储只看容量不看带宽与并发：上面那笔账就是为这个准备的
- 显存算漏了：权重 + KV cache + 激活要一起算，只按权重买卡必然不够
- 电力与散热放到最后才想：机柜功率密度决定了你能装多少卡，液冷是前置决策，等机器到货再改机房来不及
- 只算硬件钱、不算效率钱：一个利用率 30% 的集群，单位有效算力成本可能是 60% 利用率集群的两倍——买之前先想清楚怎么把它喂饱
参考
- 2609.30854 — The KV Cache Is the New Memory Wall
- 2609.34555 — PulseInfer: I/O-Centric Sparse KV Cache Offloading
- 2610.08811 — KVFetch: Temporal Prefetching for the Missing Half
- 2609.21172 — TierKV: Long-Context On-Device LLMs via Predictive Tiering
- 2607.08057 — Towards Efficient Large Language Model Serving: A Survey
- 2512.23914 — Hardware Acceleration for Neural Networks: A Comprehensive Survey
- NVIDIA 数据中心产品页（当前代际与机柜形态参考）：https://www.nvidia.com/en-us/data-center/products/
