PART A — 门槛不是自然律,是一笔代价的分配
1. 先说清楚:定门槛到底在定什么
- 把 t 线从 2.0 抬到 3.0,不会让数据变干净,只会改变两类错误的配比:
假发现变少,被误杀的真溢价也变多。
- 所以「门槛该定多高」从来不是统计题,而是损失函数题——
你更愿意为哪一种错误付钱,这个问题没有客观答案,这正是本篇一的分歧。
- 统计上唯一确定的是另一件事:在你给定门槛之后,搜索得越多,通过门槛的假发现就必然越多。
这条不依赖任何金融假设,本页 §2 就把它当场画出来。
| 错误类型 | 在量化研究里的样子 | 谁付账 | 门槛抬高时 |
| 假阳性(误放) |
噪声被当成信号写进组合,实盘后消失 |
出资人:回撤、费用、机会成本 |
变少 |
| 假阴性(误杀) |
容量小但真实溢价的市场/频段被整体放弃 |
研究者与出资人:收益上限被压低 |
变多 |
| 可复现性成本 |
别人无法重跑你的结论,争论只能靠嘴 |
整个讨论环境 |
与门槛无关,只与流程有关(本篇 §5 的目标) |
PART B — 一次实测:搜索预算如何自己造出「最好成绩」
2. 实验:把信号池从小加大,看「池内最好成绩」怎么走
与①共用同一台实验台,只换一个观测维度。
第①篇看的是一整批检验的 t 值分布(分布的尾部有多肥);
本篇看的是池规模 N 逐渐变大时,池内最大 t 的轨迹——
因为研究者的实际处境就是后者:你不会只看一个候选,你会一直试到出现好看的为止。
| 实验要素 | 设定 |
| 收益序列 | 站内 data/sample/im_main_15min.csv 聚合出的日收益,共
63 个交易日 |
| 候选信号 | 与收益构造上独立的 ±1 随机持仓(每日按
30% 概率翻转),按固定顺序排成 500 条 |
| 池规模 N | 只取前 N 条参与「池内最大值」统计,N 从 1 增到 500 |
| 统计量 | 每条做「均值是否为 0」的单样本 t 检验,取池内最大值 |
| 理论参照 | N 个独立标准正态抽样期望最大值的一阶近似 √(2 ln N) |
| 可复现 | 种子 20261005;脚本 scripts/overfit_lab.py |
N=1 时池内最大 t
0.24
等于单条信号自己的 t
N=500 时池内最大 t
3.10
全是零 alpha 信号
首次越过 t>2 的池规模
35
此后「显著」不再是稀缺品
| 池规模 N | 池内最大 t(实测) | √(2 ln N)(理论) | 越线情况 |
| 1 | 0.24 | 0.00 | 尚未越线 |
| 2 | 1.24 | 1.18 | 尚未越线 |
| 5 | 1.24 | 1.79 | 尚未越线 |
| 10 | 1.32 | 2.15 | 尚未越线 |
| 20 | 1.32 | 2.45 | 尚未越线 |
| 50 | 3.10 | 2.80 | 越过 t>3 |
| 100 | 3.10 | 3.03 | 越过 t>3 |
| 200 | 3.10 | 3.26 | 越过 t>3 |
| 300 | 3.10 | 3.38 | 越过 t>3 |
| 400 | 3.10 | 3.46 | 越过 t>3 |
| 500 | 3.10 | 3.53 | 越过 t>3 |
这张图在读什么
横轴是「你一共试了多少个信号」,纵轴是「这批零 alpha 信号里最好那个的 t」。曲线只往上走、从不回头——因为最大值的定义就包含了「只挑好的」。实测在第 35 条信号进入池子时首次越过 t>2,第 35 条进入时越过 t>3,此后基本走平:因为之后的最大值一直由同一条「幸运信号」占据。台阶形不是异常,它正是「池越大越容易撞到极端值」的形状:决定你回测最好成绩的,往往不是模型好坏,而是那一条碰巧站在尾部的样本。
理论线与经验线为什么会分叉
小 N 段经验值低于 √(2 ln N)(N=1 时经验值只有 0.24,而 N=10 时理论值已到 2.15):√(2 ln N) 只是期望最大值的一阶近似,在小样本端系统性偏高,它的作用是在量级上提醒你「N 大了,最大 t 天然就该往上走」,不是精确预测。反过来看更要紧的一点:经验曲线最终停在 3.10,与理论值 3.53 同一量级——也就是说,只要允许你在一池噪声里挑最好的,t>3 并不稀奇。
实验的边界(三句必须一起读的话)
① 池内各信号共用同一段收益序列,t 值之间不相互独立,√(2 ln N) 只是量级参照;② 样本只有 63 个交易日,自由度低,实际分布比标准正态略宽(池内 t 标准差 0.93);③ 真实研究的搜索还叠加了样本区间、清洗口径、特征与模型选择等自由度,本页只演示其中「重复检验」这一维,所以它给出的是下界,不是全貌。
PART C — 两处分歧
3. 机器学习能提高预测上限吗,还是只提高过拟合的速度? (系列分歧第③条)
争的是什么:一派用大样本证据说明:非线性模型(树、神经网络)在截面收益预测上确实优于线性模型,而且增益来自线性模型无法表达的交互项;另一派回应:金融序列非平稳、有效样本量远小于表观样本量,模型灵活度带来的第一收益是更快地挖到噪声。这条分歧决定「该不该把预算花在更复杂的模型上」。
增益派:非线性确实存在
如果真实定价关系含交互项(例如「动量在高波动且流动性差时更强」),线性模型不是「近似」而是系统性漏项。用足够长的历史与足够多的变量,弹性模型能把样本外预测精度抬高一个台阶,并且他们强调自己报的就是样本外指标。
Gu, Kelly & Xiu (2020)《Empirical Asset Pricing via Machine Learning》, Review of Financial Studies 33(5), 2223–2273:在美股月度截面上系统比较线性模型、树模型与神经网络,结论是机器学习带来的预测能力有实质提升(提升幅度请以原文表格为准,本页不抄录)。
怀疑派:样本外指标也救不了你
两个机制让金融与图像识别不可类比:(1) 分布会漂移——制度、参与者、微观结构都会变,历史不是独立同分布;(2) 一次回测等于一次大规模搜索——切分方式、超参、特征集都可调,于是「样本外」也可能已经被间接挑过。灵活度越高,这个漏洞越大。
López de Prado (2018)《Advances in Financial Machine Learning》, Wiley:把组合式交叉验证(CVC/PBO)作为金融 ML 的标准流程提出。Harvey (2017)《The Scientific Outlook in Financial Economics》, Journal of Finance 72(4):从整体上讨论金融研究为何受多重检验之害远深于其他学科。
折中:分歧的真正位置在评估协议
两边其实不矛盾:增益派的优势声明依赖「一次训练、按时间外推评估」,怀疑派攻击的是「反复训练、按最终挑出的配置评估」。真正可检验的问题不是「ML 行不行」,而是「在同一套评估协议下,ML 相对基线的增益是否仍为正」。
这条不需要新文献,只需把 §2 的实验重读一遍:同一份数据,只要允许你挑,噪声也能被挑出 t>2。
| 论据 | 倾向 | 口径与薄弱点 |
|---|
| 长历史 + 多变量下的样本外精度提升 | 增益派(GKW 2020) | 依赖美股百年样本;短样本市场难以照搬 |
| 分布漂移使历史模式失效 | 怀疑派 | 是事实,但不构成「模型只能更简单」的推论 |
| 「样本外」可被反复选择间接污染 | 两派在这一点上其实一致 | 分歧在于是否用协议把它堵住 |
| 有效样本量:表观 N 与独立信息量之差 | 怀疑派(核心论据) | 无法精确测量,只能保守估计——这正是争不完的地方 |
为什么争不完
要判定 ML 有没有提高上限,需要一个「独立信息有多少」的分母,而它恰好不可观测:同一轮牛熊里的股票高度同涨同跌,10 年日线里的独立「制度样本」可能只有个位数。双方各自取不同的有效样本假设,于是同一组回测结果能长出两种结论。
CS 类比
这就是「离线指标涨了、线上没涨」的经典结构:随机切分训练/验证集时,时间序列的信息从验证集泄漏回训练集;加上反复用同一份验证集挑模型,验证集事实上变成了训练数据。工程侧的解法早已存在——严格按时间外推切分、留出从未参与选择的最终 holdout、并把「试了多少个模型」记进实验日志。换句话说:ML 在金融里的上限,很大程度上由评估协议而非模型库决定。
这条分歧改变什么做法
给自己定一条硬规程:模型复杂度提升必须与「尝试次数」同时报告。具体到操作:先固定基线(简单线性/双均线这类可解释模型),再让复杂模型在同一份时间外推样本上挑战它;挑战失败就退回基线,而不是继续换超参——站内策略页「以证伪姿态写结论」就是这条规则。
4. 显著性门槛该定多高:t>2、t>3,还是按搜索量动态折价? (系列分歧第④条)
争的是什么:这条分歧直接接着 §2 的实测往下问:既然重复检验必然造出显著,那门槛该抬到哪里?一派主张把线整体抬高(或按试验次数折价);另一派主张高门槛会把小样本、新市场、新频段里真实但微弱的溢价全部误杀。这条分歧决定你读到任何「统计显著」时的默认信任度。
抬高门槛派
金融研究的自由度使 5% 水平形同虚设;同一份数据被测试过成千上万次之后,t>2 的结论里很大比例是噪声。要么把线抬到 t>3,要么显式按「被尝试的次数」对夏普比与 t 值做折价。
Harvey, Liu & Zhu (2016)《…and the Cross-Section of Expected Returns》, Review of Financial Studies 29(1), 5–68:提出对截面预测变量使用远高于 2 的临界值(常被引用为 t>3 的口径来源)。Bailey & López de Prado (2014)《The Deflated Sharpe Ratio》, Journal of Portfolio Management 40(5), 94–107:把「试了多少次」与收益分布的非正态一起纳入对夏普比的显著性判断。
反对一刀切派
门槛是先验不是证据。固定高门槛在长样本市场是打折,在短样本市场(新兴品种、期货期限结构、盘口微观频段)等于直接放弃研究;而且校正的强度取决于「被搜索次数」这个根本无法计数的量,把结论建立在一个不可观测的分母上,本身就是新的不严谨。
Jensen, Kelly & Pedersen (2023)《Are There Zeros in the Factor Zoo?》, Journal of Finance:改用带稀疏先验的贝叶斯模型评估因子集合,而非对单个 t 值设硬阈值——即「换一套判定装置」的代表做法。Cochrane《Asset Pricing》:单因子 t 检验是联合假设,拒绝它可能错在定价模型而非市场无效,硬阈值给出的「真假」二分本身不可靠。
第三派:把问题从阈值搬到流程
与其争 2 还是 3,不如改变产出物:要求论文/研究同时公布搜索过程、留出真正的样本外期、并给出可复现代码。门槛之争之所以无解,是因为它试图用一个数字替代本应由流程承担的责任。
Bailey, Borwein, López de Prado & Zhu (2014)《Pseudo-Mathematics and Financial Charlatanism》, Notices of the AMS 61(5) 与同组作者《The Probability of Backtest Overfitting》(Journal of Computational Finance):提出 PBO 这类「在多次尝试后样本外失效的概率」指标,把焦点从单点阈值转向回测流程。
| 论据 | 倾向 | 口径与薄弱点 |
|---|
| 池越大,最大 t 必然越高(本页 §2 可直接复现) | 抬高门槛派 | 算术性质,几无反证空间 |
| 阈值强度依赖「被搜索次数」的计数方式 | 反对一刀切派 | 该计数在行业层面不可观测 |
| 发表后预测力衰减 | 支持「门槛偏低」(McLean & Pontiff 2016, JF 71(1)) | 衰减同样能被「拥挤/风险补偿」解释,见①篇争议② |
| 小样本市场用 t>3 后几乎没有可用变量 | 反对一刀切派 | 也可能是这些市场本就容量太小、不值得做 |
为什么争不完
阈值是把「误杀率」与「误放率」写成一个数字,而这两类代价的相对权重取决于你的资金规模、机会成本与可承受回撤——对不同人天然不同。所以 t>2 / t>3 之争永远争不完:它其实是风险偏好之争,被伪装成了统计口径之争。
CS 类比
像定告警阈值与 SLO:把错误率告警线从 1% 提到 0.1%,不会让系统变稳,只会把「漏报」换成「误报 + 告警疲劳」。工程界的标准做法也不是找那个神奇阈值,而是显式写进错误预算,并配合灰度发布与真实流量验证——对应到量化,就是「先声明自由度 + 留出未参与选择的样本外期」。
这条分歧改变什么做法
可操作的最小共识只有一条:把阈值与搜索量挂钩。如果你的候选池有 N 个信号,就用 §2 那条曲线自查:最好的那个是否只处在 √(2 ln N) 的量级上;如果是,它与噪声不可区分,无论它有多漂亮。
PART D — 操作规程
5. 一张上线前检查表(两处分歧合起来的全部要求)
- 本篇两处分歧没有给出「该用哪个模型」「门槛定多高」的答案,但给出了同一个产物:
一份在结果出来之前就写好、之后只能追加不能改的研究档案。
- 检查表的价值不在于挡住坏想法,而在于让「这次不一样」这种话在纸面上站不住。
| 环节 | 必须写下的字段 | 不合格的表现 |
| 实验登记 | 样本区间、数据源与清洗口径、目标变量、允许的参数范围 |
结果不好之后回头改样本区间 |
| 搜索记账 | 一共试了多少个信号 / 模型 / 超参组合(数量级即可,但要真实) |
只报告最终那个「最优」,隐去前面的尝试 |
| 基线对照 | 至少一个可解释基线(如双均线、简单截面排序)与它同区间同成本 |
复杂模型只与「零」比较,从不与简单模型比较 |
| 时间外推 | 训练/验证/最终留出严格按时间切分,留出段绝不参与选择 |
随机打乱切分,或多次复用同一验证集 |
| 阈值自查 | 把最佳 t 值与 √(2 ln N) 并排写出(本页 §2 的做法) |
只说「显著」,不说在多大的候选池里显著 |
| 成本与容量 | 换手、冲击成本、可容纳规模,按最差档口径估 |
用理想成交价回测,或把回测换手当成实盘换手 |
| 退役规则 | 预先写下什么情况下停:回撤幅度、失效统计量、观察期长度 |
回撤发生后临时修改规则 |
| 可复现产物 | 数据、脚本、随机种子入库,他人重跑能得到同一组数字 |
结论只存在某台机器的 notebook 里 |
下一页:有了证据标准,接下来的问题是拿它去检验什么工具——
趋势跟踪算不算独立资产类别、股指期货的基差到底是谁的成本、小盘 alpha 是拥挤的产物还是结构性溢价、
波动率目标化是风控还是伪装杠杆,见
分歧论③ 策略与工具。
分歧论系列导航
本系列的四篇在争什么:学术界与实务界意见真正分裂、且分裂会改变操作的问题。四篇共用同一套卡片结构(争点 / 两派论据 / 证据对照 / 为何争不完 / 操作含义),每篇末尾都有可核证的来源清单与时效声明。
6. 来源清单与时效声明
本篇实测(站内,可复现)
scripts/overfit_lab.py:零 alpha 随机信号池实验台,种子 20261005、池 500 条、翻转概率 30%、收益序列 63 个交易日;§2 的曲线与表格全部由构建期脚本计算,未手工填入;data/sample/im_main_15min.csv:日收益序列的唯一来源(IM 主力连续 15 分钟样本聚合);- 分歧论① §2:同一实验的 t 值分布视图(池内均值 -0.21、标准差 0.93)。
争议③(机器学习上限)主要文献
- Gu, S., Kelly, B., & Xiu, D. (2020). “Empirical Asset Pricing via Machine Learning”. Review of Financial Studies, 33(5), 2223–2273. DOI;
- Harvey, C. R. (2017). “Presidential Address: The Scientific Outlook in Financial Economics”. Journal of Finance, 72(4), 1399–1440. DOI;
- López de Prado, M. (2018). Advances in Financial Machine Learning. Hoboken, NJ: John Wiley & Sons(组合式交叉验证与 PBO 的工作流表述)。出版社页
争议④(显著性门槛)主要文献
- Harvey, C. R., Liu, Y., & Zhu, H. (2016). “…and the Cross-Section of Expected Returns”. Review of Financial Studies, 29(1), 5–68. DOI;
- Bailey, D. H., & López de Prado, M. (2014). “The Deflated Sharpe Ratio: Correcting for Selection Bias, Backtest Overfitting, and Non-Normality”. Journal of Portfolio Management, 40(5), 94–107. DOI · 预印本
- Bailey, D. H., Borwein, J. M., López de Prado, M., & Zhu, Q. J. (2014). “Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance”. Notices of the American Mathematical Society, 61(5). DOI;
- 同组作者,《The Probability of Backtest Overfitting》,Journal of Computational Finance. DOI;
- Jensen, T. I., Kelly, B. T., & Pedersen, L. H. (2023). “Are There Zeros in the Factor Zoo?”. Journal of Finance(因子动物园的贝叶斯检验路径);Cochrane, J. H. (2005; 2nd ed. 2016). Asset Pricing: Revised Edition. Princeton University Press(联合假设问题)。
中文二级来源(用于口径对照,非一手)
- 石川《异象、因子和多因子模型》:链接;
- 《多重假设检验的源起、中兴和未来》:链接。
时效性与可信度声明
- 文献只给出处、不抄幅度:本页刻意不写「机器学习把预测精度提高了多少」「按校正后有多少比例的异象仍然显著」这类二次转述数字,需要精确口径时请打开上面的 DOI 原文;
- DOI 链接指向出版方页面。部分出版方(如牛津、Wiley)对程序化访问返回 403,浏览器中可正常打开;引用以卷期页码为准,链接只是便利入口;
- §2 的曲线属于方法演示:它只证明「重复检验会抬高池内最好成绩」这条算术性质,不代表真实量化研究的过拟合程度,也不能反过来推断任何具体策略无效;池内信号共享同一收益序列、样本仅数十个交易日,因此理论线只是量级参照;
- 本页所有「门槛」讨论均为统计口径,与监管对高频交易的认定阈值(笔/秒、笔/日)无关;后者是规则文本,会变,合规请以交易所与证监会现行文件为准(其中文条款与施行日期见主流量化机构运作与盈利模式 的监管小节)。