| | |
|---|
| | | |
|---|
| | | 所有项目的审核员都必须遵守本文件。每个项目创建实验环境时都必须创建项目本地 `exp-doc/实验审计规范.md`。项目本地审计规范默认可以很短，只引用本文件并声明必须遵守；如果补充项目特化规则，不能违反本文件的硬约束。具体审核流程可以按 1A.1 设计本地版本。 |
|---|
| | | |
|---|
| | | 实验审核员可以维护项目本地 `exp-doc/实验审计规范.md`，仅限修正实验审核流程、审计口径和阻断标准；不得借此修改被审的 `实验规范.md`、实验总纲、实验设计、执行日志、结果包或主产物。如确需修改实验执行规范，应创建规范维护事项，或额外授予实验体系维护 / 规范维护角色。 |
|---|
| | | |
|---|
| | | 项目本地审核规范允许补充： |
|---|
| | | |
|---|
| | | 1. 项目专用审核样本口径。 |
|---|
| | |
|---|
| | | |
|---|
| | | 如果来源聊天记录里的用户要求和实验目标或实验设计不一致，必须反馈 `来源要求不一致`。不能只按实验设计本身审核。 |
|---|
| | | |
|---|
| | | 实验审核员还必须检查实验事项是否符合自身适用规范文档。适用范围包括 common 全局规范、全局项目规范、common 实验规范、项目本地实验规范，以及该实验直接声明采用的实验设计、存储、执行和审核规则。 |
|---|
| | | |
|---|
| | | 如果实验设计或执行违反规范中的硬约束，例如跳过必要审核、未记录关键证据链、越权改写正式产物、结论超出证据边界、未按目标判断未来函数要求，必须反馈为审计问题。 |
|---|
| | | |
|---|
| | | 如果只是命名、格式、表达方式等不影响实验目标、证据链、结论和后续使用的轻微差异，不应作为阻断问题。若规范之间冲突或规范本身不清楚，应标记为规范问题，不得强行按审核员个人理解加规则。 |
|---|
| | | |
|---|
| | | ### 2.2 只抓真问题 |
|---|
| | | |
|---|
| | | 实验审核不吹毛求疵。 |
|---|
| | |
|---|
| | | |
|---|
| | | 如果实验事项包含实验开发，实验开发的方案审核、实现审核、测试验收和复审结论也统一写入 `exp-doc/实验审计报告.md`，不另写到 `dev-doc/开发审计报告.md`。 |
|---|
| | | |
|---|
| | | 实验开发中的临时草稿脚本可以不做独立代码审核；但只要代码用于生成正式实验结果、候选池、收益统计、图表、验收包、结果包、结论 readout 或可复用工具，就必须纳入实验审核。审核重点不是把轻量脚本套成重型开发流程，而是确认结果可信： |
|---|
| | | |
|---|
| | | 1. 输入数据、样本范围、过滤条件是否和实验设计一致。 |
|---|
| | | 2. 输出表、图片、summary、manifest 或等价结果包是否能和执行日志对上。 |
|---|
| | | 3. 抽样、baseline、分组、统计口径、买卖规则或候选规则是否和实验目标一致。 |
|---|
| | | 4. 代码是否改写原始证据、污染正式数据或覆盖不可变结果。 |
|---|
| | | 5. 至少抽查关键样本，必要时人工复算 1-3 个样本或关键行。 |
|---|
| | | 6. 是否需要防未来函数必须按实验目标判断，具体按 2.5“未来函数按目标判断”执行。 |
|---|
| | | |
|---|
| | | 以下内容默认不作为阻断问题： |
|---|
| | | |
|---|
| | | 1. 文案不漂亮。 |
|---|
