From bf157a136d9b08c14b4da2997dc5a03b1a1af33d Mon Sep 17 00:00:00 2001 From: Cai <cai@nbcai.cc> Date: Mon, 07 Sep 2026 12:59:24 +0800 Subject: [PATCH] docs: update governance and operations guidance --- common/exp-doc/实验审核规范.md | 17 +++++++++++++++++ 1 files changed, 17 insertions(+), 0 deletions(-) diff --git "a/common/exp-doc/\345\256\236\351\252\214\345\256\241\346\240\270\350\247\204\350\214\203.md" "b/common/exp-doc/\345\256\236\351\252\214\345\256\241\346\240\270\350\247\204\350\214\203.md" index 719c811..4653c2b 100644 --- "a/common/exp-doc/\345\256\236\351\252\214\345\256\241\346\240\270\350\247\204\350\214\203.md" +++ "b/common/exp-doc/\345\256\236\351\252\214\345\256\241\346\240\270\350\247\204\350\214\203.md" @@ -29,6 +29,8 @@ 所有项目的审核员都必须遵守本文件。每个项目创建实验环境时都必须创建项目本地 `exp-doc/实验审计规范.md`。项目本地审计规范默认可以很短，只引用本文件并声明必须遵守；如果补充项目特化规则，不能违反本文件的硬约束。具体审核流程可以按 1A.1 设计本地版本。 +实验审核员可以维护项目本地 `exp-doc/实验审计规范.md`，仅限修正实验审核流程、审计口径和阻断标准；不得借此修改被审的 `实验规范.md`、实验总纲、实验设计、执行日志、结果包或主产物。如确需修改实验执行规范，应创建规范维护事项，或额外授予实验体系维护 / 规范维护角色。 + 项目本地审核规范允许补充： 1. 项目专用审核样本口径。 @@ -68,6 +70,12 @@ 如果来源聊天记录里的用户要求和实验目标或实验设计不一致，必须反馈 `来源要求不一致`。不能只按实验设计本身审核。 +实验审核员还必须检查实验事项是否符合自身适用规范文档。适用范围包括 common 全局规范、全局项目规范、common 实验规范、项目本地实验规范，以及该实验直接声明采用的实验设计、存储、执行和审核规则。 + +如果实验设计或执行违反规范中的硬约束，例如跳过必要审核、未记录关键证据链、越权改写正式产物、结论超出证据边界、未按目标判断未来函数要求，必须反馈为审计问题。 + +如果只是命名、格式、表达方式等不影响实验目标、证据链、结论和后续使用的轻微差异，不应作为阻断问题。若规范之间冲突或规范本身不清楚，应标记为规范问题，不得强行按审核员个人理解加规则。 + ### 2.2 只抓真问题 实验审核不吹毛求疵。 @@ -77,6 +85,15 @@ 如果实验事项包含实验开发，实验开发的方案审核、实现审核、测试验收和复审结论也统一写入 `exp-doc/实验审计报告.md`，不另写到 `dev-doc/开发审计报告.md`。 +实验开发中的临时草稿脚本可以不做独立代码审核；但只要代码用于生成正式实验结果、候选池、收益统计、图表、验收包、结果包、结论 readout 或可复用工具，就必须纳入实验审核。审核重点不是把轻量脚本套成重型开发流程，而是确认结果可信： + +1. 输入数据、样本范围、过滤条件是否和实验设计一致。 +2. 输出表、图片、summary、manifest 或等价结果包是否能和执行日志对上。 +3. 抽样、baseline、分组、统计口径、买卖规则或候选规则是否和实验目标一致。 +4. 代码是否改写原始证据、污染正式数据或覆盖不可变结果。 +5. 至少抽查关键样本，必要时人工复算 1-3 个样本或关键行。 +6. 是否需要防未来函数必须按实验目标判断，具体按 2.5“未来函数按目标判断”执行。 + 以下内容默认不作为阻断问题： 1. 文案不漂亮。 -- Gitblit v1.9.3