背景与真实问题
一个采购策略某个月省了钱，可能是因为总量买对了，可能是时段分配对了，也可能只是那个月行情顺。只看总收益，分不清这几种情况，也就不知道下个月还能不能指望它。
这个实验室不负责提出新策略，负责的是评价：用什么基准比、算哪些指标、数据要满足什么条件、什么样的证据才算数。规矩先写下来，再去看结果。
独立完成
独立完成评价体系设计、指标与数据合同、实证检验脚本，以及知识体系的整理和版本管理。
评价体系
- 固定的比较基准：每个策略都和四个事先约定的基准比较，不和自己挑出来的对手比；
- 收益拆开看：把采购结果拆成几个来源分别评价。实践中确实遇到过整体买对了、但时段分配出错的月份，合在一起看是发现不了的；
- 60 项指标字典：每项指标写明公式、单位、统计粒度、需要的输入和缺失时怎么处理；
- 数据合同：9 张逻辑表的主键、字段和关联约束，数据不满足合同就不进入评价；
- 实验前登记：风险预算、触发阈值和费用假设要在实验开始前登记，空着的参数不能当成零或者自动通过。
做过的检验
- 排序有效性：用 249 个交易日检验“哪些小时相对便宜”的排序是否含有信息，并和一个冻结不动的静态结构对照；
- 事后上界诊断：假设事后知道全部价格，算出同样约束下最多能做到多好，用来衡量现有做法离上界还有多远。这只是诊断工具，不是可以交易的目标；
- 参数该不该动态调：比较了固定参数和动态参数，动态的没有胜出，所以没有据此升级策略；
- 两个采购阶段的联动：检验前一阶段多买或少买，对后一阶段有什么影响。结果显示有的月份释放仓位反而增加成本；
- 文献对照：整理了 10 篇相关论文，逐篇核实出处，明确哪些做法有先例、哪些是在江苏市场上的新尝试。
知识整理
把在月度竞价、月内交易、随机规划、风险评价和研究纠错上的积累，整理成一套 18 篇、145 节的知识体系，带版本号管理。里面专门有一部分记录做错过什么、后来怎么发现的。
风险边界
公开页只介绍评价方法和检验的类型，不展示具体策略的规则、参数和收益金额，也不包含成交与结算数据。
所有检验都基于历史数据，历史模拟不等于实际业绩。指标设计已经完成，新方法的效果还需要回放和前瞻验证；在那之前，不把任何结果说成稳定有效。
下一步
把评价协议用到之后每个月的前瞻记录上，积累不受事后选择影响的样本。