海上生林
  文章分类
人工智能 22 论文综述 1 设计模式 11 大模型基础 5 评测与算力 2 工具 11 计算机网络 7 数据库 4 java 4 计算机组成原理 5 开发环境 2 深度学习 3 认知升级 3 RAG 与知识 4 训练与对齐 4 Hexo 6 SSM 9 计算机视觉 5 算法 2 操作系统 2 开发工具 2 数学公式 1 札记 1 Python 5 PyTorch 1 SpringBoot 2 部署与推理 1
微调框架 ms-swift 与 LLaMA-Factory 微调框架 ms-swift 与 LLaMA-Factory
两个微调框架的功能清单几乎重合——因为底层都是 transformers Trainer。真正的分野在清单之外：魔搭生态位、400+ 多模态覆盖、Megatron 并行与 GRPO 的集成度。本文从命令、数据、显存到部署评测逐环节对齐，最后给一张选型决策表。
2026-11-05 人工智能 训练与对齐
大模型 微调 ms-swift LLaMA-Factory
模型微调与对齐 模型微调与对齐
微调和对齐是两条不同的轴：一个改"会不会做"，一个改"愿不愿意做/怎么做"。
2026-10-13 人工智能 训练与对齐
微调 对齐 SFT DPO
后训练模型的产生：基座 SFT 对齐 推理 部署 后训练模型的产生：基座 SFT 对齐 推理 部署
大模型不是一次训练出来的，而是一条流水线走下来的：先在语言里泡大（基座），再学会说话（SFT）、学会选择（DPO/RLHF）、学会思考（GRPO/RLVR），然后学会省着用（量化/蒸馏）、学会看（多模态）、学会行动（工具使用）。每站讲清机制、数据长什么样、具体数字和会踩的坑。
2026-10-10 人工智能 训练与对齐
论文笔记 大模型 SFT DPO RLHF GRPO
高效微调（PEFT）：LoRA 家族是怎么把微调成本打下来的 高效微调（PEFT）：LoRA 家族是怎么把微调成本打下来的
全量微调一个 7B 模型要 120GB 显存，LoRA 只要约 16GB，4bit QLoRA 约 6GB——高效微调省下的不是一点半点。
2026-10-10 人工智能 训练与对齐
论文笔记 大模型 高效微调 PEFT LoRA