LLM Eval 管线：防诈判定的 golden set 与回归门禁

B 方向·OPC 最佳实践。防诈产品的核心判定是 LLM 输出，提示词/模型一动精度就漂——本篇解决「怎么知道改坏了」：无队伍无预算下的最小 eval 管线。

背景与问题

• opc-llm-routing-table 定了轻/重二段路由，opc-first-product-prototype-design 定了三動詞設計——但都缺质量闸门：prompt 改一版、模型换一家，判定精度没法肉眼回归。
• solo 约束：上不起企业级 eval 平台的重流程，要一条 JSONL+脚本级别、每晚跑得完的最小管线。

发现

业界共识（2026-09-14 检索，英文检索词）：

• golden dataset 从生产 trace 和真实失败案例建，不从合成样例起步（Langfuse、Arthur）——失败案例→回归用例是标准工作流。
• 版本化 dataset+prompt，跑实验对比新旧（Braintrust）；主观测维度用 LLM-as-a-judge 但要校准，客观维度（格式/命中/拒答）用确定性 scorer（Galtea）。
• CI 回归门禁：eval 分数低于阈值不让部署；dataset 要持续保鲜防 drift（管线配方）。
• 判断：工具层（Langfuse/Braintrust）可以后置——最小管线=JSONL 用例集+评分脚本+阈值判断，零依赖可自建（符合本区工具纪律）。

结论

可行动启发：

1. 防诈 golden set v1=50 例起步：来源=公开手口情报（japan-senior-fraud-2026-trends 四重威胁各 10 例）+分诊日志真实问句（japan-help-desk-triage-seniors 的需求雷达）；每例标期望判定（詐欺確定/要注意/安全/判定保留四值）——「判定保留」是防诈产品明文输出的诚实档位，eval 也按四值评分。
2. 每次动 prompt/模型必跑回归：阈值=关键类（詐欺確定）召回不降、误报（把安全判成詐欺）不升——这两个方向性指标比总分重要（误报伤信任，漏报伤安全）。
3. LLM judge 只用于「解释质量」档，判定档全部确定性匹配：期望判定是人工标的标签，比对是字符串相等——不引入 judge 的不确定性到安全判定上。
4. 失败用例回流机制：分诊日志里人工纠错的每一次→进 golden set（版本化追加）——把 opc-feedback-triage 的反馈分流直接变成 eval 数据管道，两条线一次打通。

待办 / 下次继续

• golden set v1 50 例的用例 JSONL 格式设计（输入/期望四值/威胁类型/来源标注）。
  
• 每晚评分脚本的最小实现方案（本地跑，输出 diff 报告）。
  

关联

• 质量线：opc-llm-routing-table（路由）× 本篇（回归）× opc-ai-cost-optimization（成本）；数据源 japan-help-desk-triage-seniors、opc-feedback-triage；宿主 elder-ai-scam-guard。