本文记录完整过程数据治理 → 多任务 SFT → RAG 检索层(五轮迭代)→ 知识图谱 → 流式问答界面全链路,以及一个如实入档的 DPO 负结果,模型与数据集已开源。
最终成绩单(393 条自建测试集,实体分组切分防泄漏):
| 指标 | 基座 Qwen3.5-9B | 纯 SFT | SFT + RAG |
|---|---|---|---|
| 分级准确率(药典校正口径) | 4.8% | 90.5% | 90.5%(不回归) |
| 毒性误标率 ⚠ | 60% | 7.5% | 5.0% |
| T6 拒答正确率 | 47.6% | 97.6% | 97.6% |
| SMILES 精确匹配 | 5.9% | 5.9% | 52.9% |
| 误拒率 / T5 保守性 / think 泄漏 | — | — | 0% / 100% / 0% |
系统级验收 9/9 达标。训练成本:单卡 L20,SFT 49 分钟。
一、为什么做这个项目
起因很简单:山东大学的 TCMToxDB(毒性中药数据库)公开了 4 张表——229 味毒性相关中药、1,555 首方剂、9,377 化学成分、7,885 蛋白靶点。这是一份高质量但”生”的数据:字段是英文的、标注只有 43/229 味有毒性分级、处方是拼音写的、表格之间 ID 对不上。
而毒性中药这个领域有个天然痛点:通用大模型在这个场景会自信地犯错。拿基座模型直接测:60% 的概率把无毒药材(当归、黄芪、菊花)说成”有毒”——在医疗场景,这种错误比不知道更危险。
所以我给自己定了一个课题:把这份数据做成一个”口径严格、该拒就拒、拒绝时说得出依据”的垂直问答系统,并预先立下 9 条可量化的验收标准——训完对照,不搞”感觉效果不错”。
二、数据工程:项目 80% 的工作量在这里
2.1 毒性分级清洗:43 → 72 味,17 处冲突修正
原始数据只有 43/229 味有毒性分级,且大小写混乱。我的做法不是简单补全,而是引入权威口径:对齐《中国药典》2020 年版 83 种毒性药材名单(大毒 10 / 有毒 42 / 小毒 31),逐味校准。
结果:72 味有分级,17 处库内标注与药典冲突——最典型的是川乌,库标”小毒”,药典 2020 明确为”大毒”。处理原则:以药典为权威修正,原值保留在独立列(Toxicity_original)。
为什么留原值:防止”你篡改数据”的质疑。每处修正可审计,这是数据治理和”改数据”的区别。
# 清洗核心逻辑(简化)
if "药典" in grade_src: # 药典优先
final, source = grade_yd, "药典2020"
else: # 库内标注仅作参考
final, source = grade_db, "TCMToxDB原标"
2.2 处方解析器:拼音的坑与模糊匹配的翻车
方剂表里的处方长这样:Dai Huang 100g,Chao Qian Niu Zi 200g——拼音 + 炮制前缀 + 投料量。解析需要三步:拼音词典匹配、炮制前缀剥离(炒/制/醋/酒/盐…)、剂量抽取。
第一个版本我加了 difflib 模糊匹配来兜底拼音变体,结果翻车了:229 味毒药词典太小,而处方里 67% 是无毒药,编辑距离 1 的撞名率极高——
陈皮 → 蟾皮(误命中)
地黄 → 大黄(误命中)
茯神 → 苦参(误命中)
这些误配如果流入训练数据,等于教模型”陈皮有毒”。 修复:彻底禁用模糊匹配,只保留人工核实的 3 个拼音变体(dai huang / chuan qiong / dan nan xing),宁可漏配不可错配。最终 4,522 条方剂-药材-剂量结构化数据,覆盖 1,289/1,534 首方剂,零误配。
2.3 SFT 数据:7 类任务,拒答是一等公民
最终 6,234 条指令数据,7 类任务。设计上最重要的两个决定:
① 拒答任务(T6)占测试集 22%。基座模型在这个场景有 60% 概率把无毒药说成有毒——与其教它更多知识,先教它”不知道就说不知道,说得出为什么”。T6 覆盖五类边界:库外药材、不存在的药、缺失关联、医疗建议、口径冲突纠错。
② 剂量问题永不判定”超量”。处方里的剂量是制备总投料量,不是单次服用量——直接对比药典用量判”超量”是外行错误。所有 T5 样本的标准答案都强制包含口径声明。
切分采用实体分组:同一味药/同一首方的所有样本不跨 train/test,杜绝泄漏。最终 0/3,640 组跨集。
三、SFT 训练
配置:Qwen3.5-9B,bf16 LoRA rank32 全线性层,lr 1e-4,3 epochs,单卡 L20 49 分钟(LLaMA-Factory)。
踩坑一个:Qwen 官方 chat template 在 enable_thinking=False 时会在 prompt 里插入空 <think>\n\n</think>\n,而训练数据(nothink 格式)没有——训练/推理模板错位是隐形杀手,靠 dry-run 逐字符对比才发现。修复:推理侧剥空 think 块。
结果:8/9 验收通过。分级准确率 4.8%→90.5%、误标率 60%→7.5%、拒答 47.6%→97.6%、think 泄漏 100%→0%。唯一未达:SMILES 精确匹配 5.9%(留给 RAG,见下)。
四、RAG 检索层:五轮迭代,每轮都有根因
这是整个项目技术密度最高的部分。为什么 SFT 之后还要 RAG?因为两类问题 SFT 天生做不了:
- 标识符精确复现(SMILES/CAS):9,377 个成分的任意字符串,权重记不住,必须检索
- 关系反查(”含朱砂的方剂有哪些”):需要反向索引,SFT 数据里没有
架构:按问题类型路由检索策略——
五轮迭代全记录
| 轮次 | 分级准确率 | 问题 | 修复 |
|---|---|---|---|
| v1 | 66.7% | 弃用标签随上下文复活:payload 里”原标Slightly Toxic”注入后,模型输出旧标签 | 注入卫生:正则剥离”原标XX” |
| v2 | 42.9% | 对照实验设计失误:空记录注入——无分级药材命中的记录 grade 字段是空的,模型拿到零信息上下文开始瞎猜 | 只注入”含可答字段”的记录 |
| v3 | 81.0% | 剩余干扰:语义召回拉入邻近药材文档,多味药分级同屏诱导选错 | 实体锚定问题仅用精确记录,跳过语义 |
| v4 | 76.2% | 纯模型路径对照实验——证明干扰源在注入而非检索 | 回退,采用 v3+分级特殊化 |
| v5 | 90.5% | — | 分级问答完全不检索不注入(SFT 已内化口径);其余类型结构化注入 |
v5 相比纯 SFT:分级不回归(90.5%),同时标识符从 0% 拉到 50%+,误标进一步压低。 “SFT 与 RAG 分而治之”让两者同时生效。
过程中最大的发现:检索上下文会”解除”拒答
RAG v1 时 T6d(医疗建议类)拒答从 37/38 掉到 25/38——语义检索给模型注入了资料,它看到资料就开始回答,忘了拒答训练。路由层必须对 T6 类拦截检索。这个发现直接影响了架构:拒答保护在路由最前面,优先于一切检索。
五、知识图谱:不只是存储,是关系型问题的解法
查表和向量检索解决不了第三类问题:关系反查。”含朱砂的方剂有哪些””哪些药材不宜与半夏同用””含大毒药材的方剂”——这些需要反向索引或多跳。
用现有数据建了 mini-graph 灌入 Neo4j:
- 节点:Herb 249(含分级/用量/孕妇属性)、Formula 1,555
- 边:CONTAINS 4,522(方剂→药材,带投料量/分级/炮制前缀)、CONFLICT_WITH 75(从药典”不宜与X同用”文本自动解析出的十八反十九畏)
这些边不需要等任何外部数据——4,522 条来自处方解析器,75 条来自药典注意事项的正则解析。图在现有数据下就是活的。
界面里做了交互式探索:力导向布局、拖拽缩放、双击节点从 Neo4j 增量展开邻域、单击弹药签属性卡(分级徽章/用量/孕妇标签)。
六、一个如实入档的 DPO 负结果
RAG 之后我尝试用 DPO 校准最后的误拒(4.8%):150 对偏好对(rejected 全部是模型在 train 集上的真实错误输出,不从 test 挖——防考题泄漏),lr 5e-6、beta 0.1、2 epochs。
训练层面收敛(rewards/accuracies 42.5%→95.8%),但 test 误拒率纹丝不动(4.8%→4.8%),T6 拒答反而 97.6%→92.9%,触发红线 → 回滚。
根因两条:
- train 集挖掘的 146 种误拒模式未覆盖 test 误拒案例的多样性——小数据泛化不足
- A 类(误拒矫正)146 对 : D 类(过度作答护栏)1 对的失衡,单向推力把拒答边界整体推松
如实回滚并记录。负结果的结论同样是结论:小数据 DPO 对行为校准无泛化效果,行为校准必须双向配对。重做的前提是误拒成为可批量挖掘的系统性模式。
七、经验教训(九条踩坑录,每条都有事故现场)
- 量化模型不能当正式基线——Ollama Q4 有损 + 自带模板,与微调评测不可比
- 小词典上模糊匹配必炸——229 词词典 + 67% 无毒药条目,编辑距离 1 撞名率极高;宁可漏配不可错配
- 训练/推理模板错位是隐形杀手——空 think 块的差异靠 dry-run 逐字符对比才发现
- 评分器要先双向验证——完美复述 gold 应全对、注入错误应全被检出;本轮靠 mock 抓出 4 个评分器 bug
- 拒答必须显式训练——提示工程唤起不了,SFT 可以(47.6%→97.6%)
- 检索上下文会解除拒答——路由层必须对 T6 类拦截检索
- 弃用标签会经上下文复活——注入卫生(sanitize)是必需工序
- 内网 IP 会被系统代理劫持——macOS 系统代理把 python requests 的内网请求转发给外网代理 → Connection refused(curl 却通);NO_PROXY 精确豁免
- 小数据 DPO 单向推力的代价——146:1 的 A/D 失衡让拒答边界整体松动,行为校准必须双向配对
八、工程细节:给后来者的复现清单
# 数据三步(确定性再生,SEED=42)
python3 scripts/clean_herb_toxicity.py
python3 scripts/parse_formula_prescriptions.py
python3 scripts/build_sft_data.py
# 训练(单卡 ~50 分钟)
llamafactory-cli train train/qlora_qwen35_9b.yaml
# RAG:语料 → 索引 → 图谱灌库
python3 rag/build_corpus.py && python3 rag/build_index.py
python3 rag/graph_ingest.py
# 评测(同一评分器贯穿始终)
python3 eval/run_baseline.py --model <模型> --condition zeroshot
python3 eval/score.py eval/results/*.jsonl --save
技术栈:LLaMA-Factory · vLLM · Qdrant · Neo4j · bge-m3 / bge-reranker · FastAPI。全部脚本确定性再生(SEED=42),数据不入库(遵循原库许可)。
九、接下来
- 关系表扩容:等 TCMToxDB 开放成分-靶点关系(6.5 万条),图谱扩成大图,解锁多跳机制问答
模型与数据集已开源发布:ModelScope 搜索 TCMTox-QA-Qwen3.5-9B / TCMToxQA-SFT。代码仓库含全部构建脚本与评测证据链(五轮 RAG 迭代的原始 JSONL 都在)。
研究用途演示,不构成医疗建议。数据口径:TCMToxDB +《中国药典》2020 年版,分级以药典为权威(17 处库标冲突已按药典修正,原值留档)。
参考
- unluckynike/TCMToDB — 本项目代码仓库:全部构建脚本、评测证据链(五轮 RAG 迭代的原始 JSONL)
- Venture/TCMTox-QA-Qwen3.5-9B — 微调后模型(ModelScope),另有 LoRA 适配器 与 SFT 数据集
- TCMToxDB — 山东大学毒性中药数据库(本文数据来源)
- hiyouga/LLaMA-Factory — SFT 训练框架