构建毒性中药垂直问答系统:数据治理、SFT、RAG 迭代全记录


本文记录完整过程数据治理 → 多任务 SFT → RAG 检索层(五轮迭代)→ 知识图谱 → 流式问答界面全链路,以及一个如实入档的 DPO 负结果,模型与数据集已开源。

最终成绩单(393 条自建测试集,实体分组切分防泄漏):

指标 基座 Qwen3.5-9B 纯 SFT SFT + RAG
分级准确率(药典校正口径) 4.8% 90.5% 90.5%(不回归)
毒性误标率 ⚠ 60% 7.5% 5.0%
T6 拒答正确率 47.6% 97.6% 97.6%
SMILES 精确匹配 5.9% 5.9% 52.9%
误拒率 / T5 保守性 / think 泄漏 — — 0% / 100% / 0%

系统级验收 9/9 达标。训练成本:单卡 L20,SFT 49 分钟。


一、为什么做这个项目

起因很简单:山东大学的 TCMToxDB(毒性中药数据库)公开了 4 张表——229 味毒性相关中药、1,555 首方剂、9,377 化学成分、7,885 蛋白靶点。这是一份高质量但”生”的数据:字段是英文的、标注只有 43/229 味有毒性分级、处方是拼音写的、表格之间 ID 对不上。

而毒性中药这个领域有个天然痛点:通用大模型在这个场景会自信地犯错。拿基座模型直接测:60% 的概率把无毒药材(当归、黄芪、菊花)说成”有毒”——在医疗场景,这种错误比不知道更危险。

所以我给自己定了一个课题:把这份数据做成一个”口径严格、该拒就拒、拒绝时说得出依据”的垂直问答系统,并预先立下 9 条可量化的验收标准——训完对照,不搞”感觉效果不错”。


二、数据工程:项目 80% 的工作量在这里

2.1 毒性分级清洗:43 → 72 味,17 处冲突修正

原始数据只有 43/229 味有毒性分级,且大小写混乱。我的做法不是简单补全,而是引入权威口径:对齐《中国药典》2020 年版 83 种毒性药材名单(大毒 10 / 有毒 42 / 小毒 31),逐味校准。

结果:72 味有分级,17 处库内标注与药典冲突——最典型的是川乌,库标”小毒”,药典 2020 明确为”大毒”。处理原则:以药典为权威修正,原值保留在独立列(Toxicity_original)。

为什么留原值:防止”你篡改数据”的质疑。每处修正可审计,这是数据治理和”改数据”的区别。

# 清洗核心逻辑(简化)
if "药典" in grade_src:      # 药典优先
    final, source = grade_yd, "药典2020"
else:                        # 库内标注仅作参考
    final, source = grade_db, "TCMToxDB原标"

2.2 处方解析器:拼音的坑与模糊匹配的翻车

方剂表里的处方长这样:Dai Huang 100g,Chao Qian Niu Zi 200g——拼音 + 炮制前缀 + 投料量。解析需要三步:拼音词典匹配、炮制前缀剥离(炒/制/醋/酒/盐…)、剂量抽取。

第一个版本我加了 difflib 模糊匹配来兜底拼音变体,结果翻车了:229 味毒药词典太小,而处方里 67% 是无毒药,编辑距离 1 的撞名率极高——

陈皮 → 蟾皮(误命中)
地黄 → 大黄(误命中)
茯神 → 苦参(误命中)

这些误配如果流入训练数据,等于教模型”陈皮有毒”。 修复:彻底禁用模糊匹配,只保留人工核实的 3 个拼音变体(dai huang / chuan qiong / dan nan xing),宁可漏配不可错配。最终 4,522 条方剂-药材-剂量结构化数据,覆盖 1,289/1,534 首方剂,零误配。

2.3 SFT 数据:7 类任务,拒答是一等公民

最终 6,234 条指令数据,7 类任务。设计上最重要的两个决定:

① 拒答任务(T6)占测试集 22%。基座模型在这个场景有 60% 概率把无毒药说成有毒——与其教它更多知识,先教它”不知道就说不知道,说得出为什么”。T6 覆盖五类边界:库外药材、不存在的药、缺失关联、医疗建议、口径冲突纠错。

② 剂量问题永不判定”超量”。处方里的剂量是制备总投料量,不是单次服用量——直接对比药典用量判”超量”是外行错误。所有 T5 样本的标准答案都强制包含口径声明。

切分采用实体分组:同一味药/同一首方的所有样本不跨 train/test,杜绝泄漏。最终 0/3,640 组跨集。


三、SFT 训练

配置:Qwen3.5-9B,bf16 LoRA rank32 全线性层,lr 1e-4,3 epochs,单卡 L20 49 分钟(LLaMA-Factory)。

踩坑一个:Qwen 官方 chat template 在 enable_thinking=False 时会在 prompt 里插入空 <think>\n\n</think>\n,而训练数据(nothink 格式)没有——训练/推理模板错位是隐形杀手,靠 dry-run 逐字符对比才发现。修复:推理侧剥空 think 块。

结果:8/9 验收通过。分级准确率 4.8%→90.5%、误标率 60%→7.5%、拒答 47.6%→97.6%、think 泄漏 100%→0%。唯一未达:SMILES 精确匹配 5.9%(留给 RAG,见下)。


四、RAG 检索层:五轮迭代,每轮都有根因

这是整个项目技术密度最高的部分。为什么 SFT 之后还要 RAG?因为两类问题 SFT 天生做不了:

  1. 标识符精确复现(SMILES/CAS):9,377 个成分的任意字符串,权重记不住,必须检索
  2. 关系反查(”含朱砂的方剂有哪些”):需要反向索引,SFT 数据里没有

架构:按问题类型路由检索策略——

按问题类型路由的混合检索架构:守卫优先的实体路由器分派四类检索策略,注入卫生后交给微调模型

五轮迭代全记录

轮次 分级准确率 问题 修复
v1 66.7% 弃用标签随上下文复活:payload 里”原标Slightly Toxic”注入后,模型输出旧标签 注入卫生:正则剥离”原标XX”
v2 42.9% 对照实验设计失误:空记录注入——无分级药材命中的记录 grade 字段是空的,模型拿到零信息上下文开始瞎猜 只注入”含可答字段”的记录
v3 81.0% 剩余干扰:语义召回拉入邻近药材文档,多味药分级同屏诱导选错 实体锚定问题仅用精确记录,跳过语义
v4 76.2% 纯模型路径对照实验——证明干扰源在注入而非检索 回退,采用 v3+分级特殊化
v5 90.5% — 分级问答完全不检索不注入(SFT 已内化口径);其余类型结构化注入

v5 相比纯 SFT:分级不回归(90.5%),同时标识符从 0% 拉到 50%+,误标进一步压低。 “SFT 与 RAG 分而治之”让两者同时生效。

过程中最大的发现:检索上下文会”解除”拒答

RAG v1 时 T6d(医疗建议类)拒答从 37/38 掉到 25/38——语义检索给模型注入了资料,它看到资料就开始回答,忘了拒答训练。路由层必须对 T6 类拦截检索。这个发现直接影响了架构:拒答保护在路由最前面,优先于一切检索。


五、知识图谱:不只是存储,是关系型问题的解法

查表和向量检索解决不了第三类问题:关系反查。”含朱砂的方剂有哪些””哪些药材不宜与半夏同用””含大毒药材的方剂”——这些需要反向索引或多跳。

用现有数据建了 mini-graph 灌入 Neo4j:

  • 节点:Herb 249(含分级/用量/孕妇属性)、Formula 1,555
  • 边:CONTAINS 4,522(方剂→药材,带投料量/分级/炮制前缀)、CONFLICT_WITH 75(从药典”不宜与X同用”文本自动解析出的十八反十九畏)

这些边不需要等任何外部数据——4,522 条来自处方解析器,75 条来自药典注意事项的正则解析。图在现有数据下就是活的。

界面里做了交互式探索:力导向布局、拖拽缩放、双击节点从 Neo4j 增量展开邻域、单击弹药签属性卡(分级徽章/用量/孕妇标签)。


六、一个如实入档的 DPO 负结果

RAG 之后我尝试用 DPO 校准最后的误拒(4.8%):150 对偏好对(rejected 全部是模型在 train 集上的真实错误输出,不从 test 挖——防考题泄漏),lr 5e-6、beta 0.1、2 epochs。

训练层面收敛(rewards/accuracies 42.5%→95.8%),但 test 误拒率纹丝不动(4.8%→4.8%),T6 拒答反而 97.6%→92.9%,触发红线 → 回滚。

根因两条:

  1. train 集挖掘的 146 种误拒模式未覆盖 test 误拒案例的多样性——小数据泛化不足
  2. A 类(误拒矫正)146 对 : D 类(过度作答护栏)1 对的失衡,单向推力把拒答边界整体推松

如实回滚并记录。负结果的结论同样是结论:小数据 DPO 对行为校准无泛化效果,行为校准必须双向配对。重做的前提是误拒成为可批量挖掘的系统性模式。


七、经验教训(九条踩坑录,每条都有事故现场)

  1. 量化模型不能当正式基线——Ollama Q4 有损 + 自带模板,与微调评测不可比
  2. 小词典上模糊匹配必炸——229 词词典 + 67% 无毒药条目,编辑距离 1 撞名率极高;宁可漏配不可错配
  3. 训练/推理模板错位是隐形杀手——空 think 块的差异靠 dry-run 逐字符对比才发现
  4. 评分器要先双向验证——完美复述 gold 应全对、注入错误应全被检出;本轮靠 mock 抓出 4 个评分器 bug
  5. 拒答必须显式训练——提示工程唤起不了,SFT 可以(47.6%→97.6%)
  6. 检索上下文会解除拒答——路由层必须对 T6 类拦截检索
  7. 弃用标签会经上下文复活——注入卫生(sanitize)是必需工序
  8. 内网 IP 会被系统代理劫持——macOS 系统代理把 python requests 的内网请求转发给外网代理 → Connection refused(curl 却通);NO_PROXY 精确豁免
  9. 小数据 DPO 单向推力的代价——146:1 的 A/D 失衡让拒答边界整体松动,行为校准必须双向配对

八、工程细节:给后来者的复现清单

# 数据三步(确定性再生,SEED=42)
python3 scripts/clean_herb_toxicity.py
python3 scripts/parse_formula_prescriptions.py
python3 scripts/build_sft_data.py

# 训练(单卡 ~50 分钟)
llamafactory-cli train train/qlora_qwen35_9b.yaml

# RAG:语料 → 索引 → 图谱灌库
python3 rag/build_corpus.py && python3 rag/build_index.py
python3 rag/graph_ingest.py

# 评测(同一评分器贯穿始终)
python3 eval/run_baseline.py --model <模型> --condition zeroshot
python3 eval/score.py eval/results/*.jsonl --save

技术栈:LLaMA-Factory · vLLM · Qdrant · Neo4j · bge-m3 / bge-reranker · FastAPI。全部脚本确定性再生(SEED=42),数据不入库(遵循原库许可)。

九、接下来

  • 关系表扩容:等 TCMToxDB 开放成分-靶点关系(6.5 万条),图谱扩成大图,解锁多跳机制问答

模型与数据集已开源发布:ModelScope 搜索 TCMTox-QA-Qwen3.5-9B / TCMToxQA-SFT。代码仓库含全部构建脚本与评测证据链(五轮 RAG 迭代的原始 JSONL 都在)。


研究用途演示,不构成医疗建议。数据口径:TCMToxDB +《中国药典》2020 年版,分级以药典为权威(17 处库标冲突已按药典修正,原值留档)。

参考


文章作者: Halensea
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 Halensea !
  留言
 本篇
构建毒性中药垂直问答系统:数据治理、SFT、RAG 迭代全记录 构建毒性中药垂直问答系统:数据治理、SFT、RAG 迭代全记录
山东大学公开了 229 味毒性中药的数据库,但字段是英文、分级只有 43 味、处方是拼音——而通用大模型在这个场景有 60% 的概率把无毒药说成有毒。这篇记录把它做成"口径严格、该拒就拒"垂直问答系统的全链路:数据治理、多任务 SFT(单卡 49 分钟)、RAG 五轮迭代、知识图谱,以及一个如实回滚的 DPO 负结果。393 条自建测试集 9 条验收全达标,模型与数据集已开源。
下一篇 
DAMA 和 DCMM:数据治理的两套体系到底在说什么 DAMA 和 DCMM:数据治理的两套体系到底在说什么
同一家公司两个部门对"活跃用户"给出两个数字、客户和供应商在五个系统里一物多码、出了数据事故没人说得清该谁负责——数据治理就是冲着这些事来的。DAMA-DMBOK 是这套知识的老祖宗,DCMM 是把它翻译成可验收的国标。这篇讲清楚两套体系各自在说什么、怎么对上,以及企业落地时真正难的地方。
2026-11-16
  目录