207 lines
8.9 KiB
Markdown
207 lines
8.9 KiB
Markdown
好的，我把从项目启动到现在的全部版本迭代、核心发现和关键转折点，按时间线梳理清楚。
|
||
|
||
---
|
||
|
||
# 网格交易选股模型 — 全版本历史总结
|
||
|
||
## 第一阶段：原型搭建（v1.0 ~ v3.6）
|
||
|
||
### v1.0：从零开始
|
||
**核心目标**：验证“用机器学习预测网格匹配次数”是否可行。
|
||
|
||
**做了什么**：
|
||
- 用 180 天沪深主板个股历史数据，按 [1,2,...,11] 元网格模拟交易
|
||
- 计算每只股票在历史区间内的网格成交次数作为标签
|
||
- 用随机森林（RandomForestRegressor）训练，预测“未来 60 天匹配次数”
|
||
- 在 278 只股票上做了初步验证
|
||
|
||
**关键发现**：机器学习预测网格匹配次数是可行的。但 278 只股票的样本量太小，模型泛化能力有限。
|
||
|
||
---
|
||
|
||
### v2.0 ~ v2.1.1：扩大规模 + 引入市值因子
|
||
**核心目标**：从 278 只扩展到全市场 1404 只，验证策略在全市场是否成立。
|
||
|
||
**做了什么**：
|
||
- 扩展到全市场股票（5~15 元区间），训练样本约 30,000 条
|
||
- 引入 3 个市值因子（流通市值对数、市值波动交互、小市值溢价）
|
||
- 在模型协同上做了第一次尝试：把 Rank 模型的预测值作为 Top 模型的输入特征
|
||
|
||
**关键发现**：
|
||
- 市值因子有效——小市值股票确实更有弹性，触发网格的概率更高
|
||
- “让 Top 站在 Rank 肩膀上”这个协同思路第一次被验证
|
||
|
||
---
|
||
|
||
### v3.0 ~ v3.6：特征消融与精简
|
||
**核心目标**：从 36 个特征逐步消融，找到最精简有效的特征集。
|
||
|
||
**做了什么**：
|
||
- 每轮消融删除重要性最低的几个特征，看 Spearman 是否下降
|
||
- 引入负向指标（流动性枯竭、价格呆滞等），让模型学会“识别不适合网格的标的”
|
||
- 最终精简到 34 维基础特征，Spearman 稳定在 0.53 附近
|
||
|
||
**关键发现**：
|
||
- 特征不是越多越好。34 维中最后 6 个重要性极低的特征被删除后，Spearman 反而微升
|
||
- 负向指标中只有“流动性枯竭”被模型充分吸收，其他几个效果有限
|
||
|
||
---
|
||
|
||
## 第二阶段：架构升级（v4.0 ~ v5.4）
|
||
|
||
### v4.0 ~ v4.1：三模型协同架构确立
|
||
**核心目标**：从单模型升级为 Rank → Top → Stacking 三层协同。
|
||
|
||
**做了什么**：
|
||
- **Rank（回归）**：全市场排序，预测匹配次数
|
||
- **Top（分类）**：识别头部 5% 的特等契合标的
|
||
- **Stacking（融合）**：综合 Rank 和 Top 的输出，产出最终评分
|
||
- Top 模型的训练标签从“全市场 P95”改为“同 period 内 P95”，更公平
|
||
|
||
**关键发现**：
|
||
- 三层协同比单模型显著提升——Top 模型 PR-AUC 0.34，命中率 100%
|
||
- Stacking 层能有效融合两个上游信号
|
||
|
||
---
|
||
|
||
### v5.0 ~ v5.3：情绪因子探索
|
||
**核心目标**：引入恐慌/贪婪情绪因子，让模型感知市场环境。
|
||
|
||
**做了什么**：
|
||
- 构造恐慌期弹性因子（恐慌日振幅放大比、反弹强度）
|
||
- 构造贪婪期独立因子（贪婪日相对涨幅、振幅比）
|
||
- 多次调整阈值（从极端阈值放宽到温和阈值）
|
||
|
||
**关键发现**：
|
||
- 情绪因子对 Rank 有正向贡献（Spearman 从 0.50 提到 0.53）
|
||
- 但对 Top 模型始终没有产生增益——Top 做的是头部精选，情绪信号在头部样本上的区分度不够
|
||
- **教训**：情绪因子更适合做负向过滤（识别“该淘汰的”），不适合做正向精选（识别“该买的”）
|
||
|
||
---
|
||
|
||
### v5.4-E：模型协同的突破
|
||
**核心目标**：让 Top 模型真正受益于 Rank 的排序信号。
|
||
|
||
**做了什么**：
|
||
- 把 Rank 模型的预测值（`rank_predicted_rounds`）作为 Top 模型的第 35 维输入特征
|
||
- 分层标签 + 头部权重训练 Top 模型
|
||
|
||
**关键发现**：
|
||
- 这是 v5.x 系列最重要的突破——Top PR-AUC 从 0.30 提升到 0.33
|
||
- “让 Top 站在 Rank 肩膀上”被反复验证有效
|
||
|
||
---
|
||
|
||
## 第三阶段：交易系统化（v6.0 ~ v6.3）
|
||
|
||
### v6.0 ~ v6.1：Stacking 融合 + 知识蒸馏
|
||
**核心目标**：用一个模型统一 Rank 和 Top 的能力。
|
||
|
||
**做了什么**：
|
||
- 尝试用 MLP 多任务学习同时做回归和分类（v6.0，失败）
|
||
- 尝试用知识蒸馏让 MLP 学习 Teacher 模型（v6.1，效果不如 LightGBM）
|
||
|
||
**关键发现**：
|
||
- **MLP 在表格数据上不如 LightGBM**——这是被反复验证的教训
|
||
- 之后不再尝试深度学习替代树模型
|
||
|
||
---
|
||
|
||
### v6.2 ~ v6.3：全系统收敛
|
||
**核心目标**：把最优特征集、最优模型架构、最优参数固化。
|
||
|
||
**做了什么**：
|
||
- 修复 total_share 数据源（4 个特征之前因为数据缺失被填 0，修复后恢复正常）
|
||
- 回测收益 148%，夏普 1.74，最大回撤 -19.78%
|
||
- v6.3 被确立为生产基线
|
||
|
||
**关键发现**：
|
||
- v6.3 的生产基线是在“旧规则训练数据（9.0-9.8）+ 三模型协同”这个体系下被验证稳定的
|
||
|
||
---
|
||
|
||
## 第四阶段：风控与仓位管理（v6.4 ~ v6.5）
|
||
|
||
### v6.4：Meta Ranker 的诞生
|
||
**核心目标**：用利润预测替代价格一刀切规则。
|
||
|
||
**做了什么**：
|
||
- 在 Stacking 之上新增 Meta Ranker：输入价格 + Stacking 评分 + Rank 预测轮数，输出预测利润
|
||
- 跑 720 种参数组合的规则探索，找到最优配置
|
||
- 训练样本 1288 条，Spearman 0.77
|
||
|
||
**关键发现**：
|
||
- **Meta Ranker 是这个阶段最重要的突破**——收益从 148% 提升到 152%，回撤从 -19.78% 降到 -10.10%，夏普从 1.74 提到 2.16
|
||
- Meta Ranker 需要约 1000 条以上训练样本才能稳定
|
||
- 它的成功高度依赖上游模型评分分布与策略边界的匹配
|
||
|
||
---
|
||
|
||
### v6.5：叶子 Embedding 增强（进行中）
|
||
**核心目标**：用树模型的叶子节点编码作为 Embedding 特征，增强上游模型。
|
||
|
||
**做了什么**：
|
||
- 从 v6.3 Rank 模型的 500 棵树中提取叶子编号
|
||
- 构造 20 组叶子编码特征（基于目标编码的交互特征）
|
||
- 加入训练数据后，Rank Spearman 从 0.54 飙升到 0.74
|
||
|
||
**关键发现**：
|
||
- 叶子 Embedding 是最有效的特征增强方式——三列新特征包揽重要性前 3 名
|
||
- 但 Meta Ranker 训练样本在 v6.5 的模型体系下反复不足，流程多次阻塞
|
||
|
||
---
|
||
|
||
## 第五阶段：收益导向重构（v7.0 探索中）
|
||
|
||
### v7.0 的规划（尚未完成）
|
||
**核心目标**：把整条链路的训练目标从“匹配轮数（y_rounds）”改为“总回报（total_return_60d）”。
|
||
|
||
**为什么要改**：
|
||
- 当前体系前三层（Rank/Top/Stacking）都在预测“匹配轮数”，只有最后一层 Meta Ranker 预测“利润”
|
||
- 这导致前后层目标错位——上游选的是“最活跃的”，但实盘需要的是“最赚钱的”
|
||
|
||
**怎么做**：
|
||
- 从零重建训练样本，标签改为 `total_return_60d`（已实现利润 + 期末持仓市值）
|
||
- 全链路用新标签重训，让 Rank/Top/Stacking 都直接学习收益规律
|
||
- 同时引入规模中性化特征（纠正大盘股成交额偏差）和三指数独立震荡特征（沪深300/中证500/中证1000）
|
||
|
||
**当前状态**：
|
||
- 训练样本生成完成（约 4.9 万条，正回报占比约 11.6%）
|
||
- 从零重建的数据源因 K 线时间范围（2020 年起）和股票覆盖（仅 600 开头）不足，无法复现 v6.3 的 1,799 只过滤后股票数
|
||
- **当前卡点**：数据源覆盖问题，需要 2018 年起、全市场（含深市和创业板）的 K 线数据
|
||
|
||
---
|
||
|
||
## 全版本关键教训
|
||
|
||
| 教训 | 来源版本 | 说明 |
|
||
|:---|:---|:---|
|
||
| **情绪因子适合负向过滤，不适合正向精选** | v5.x | 对 Rank 有效，对 Top 无效 |
|
||
| **MLP 在表格数据上不如 LightGBM** | v6.0-v6.1 | 深度学习不是万能药 |
|
||
| **叶子 Embedding 是最强特征增强** | v6.5 | 非线性的树结构编码，比 PCA 强 10 倍 |
|
||
| **Meta Ranker 是体系最关键一环** | v6.4 | 用利润预测替代价格一刀切，夏普提升 24% |
|
||
| **训练数据必须与策略边界匹配** | v7.0 | 上游模型评分分布偏移会导致可买标的枯竭 |
|
||
| **从零重建比复用旧样本更难** | v7.0 | 数据源时间范围和股票覆盖是关键约束 |
|
||
| **规则探索需要专门为每个模型体系做一次** | v6.4/v6.5 | 同一参数在不同模型上效果截然不同 |
|
||
|
||
---
|
||
|
||
## 当前最优体系（v6.4 生产基线）
|
||
|
||
| 组件 | 版本 | 核心指标 |
|
||
|:---|:---|:---|
|
||
| Rank | v6.3 原始 | Spearman 0.5355 |
|
||
| Top | v6.3 原始 | PR-AUC 0.3389 |
|
||
| Stacking | v6.3 原始 | Spearman 0.6932 |
|
||
| Meta Ranker | v2（1288 条训练） | Spearman 0.7663 |
|
||
| **整体回测** | — | **收益 152.15%，回撤 -10.10%，夏普 2.16** |
|
||
|
||
---
|
||
|
||
## 下一步方向
|
||
|
||
| 优先级 | 方向 | 预期收益 | 风险 |
|
||
| :---- | :-------------------------------------------- | :--- | :-- |
|
||
| **1** | v6.7：叶子 Embedding 增强 v6.4 上游 + 复用 Meta Ranker | 低 | 低 |
|
||
| **2** | v7.0：收益导向全链路重训（需先解决数据源问题） | 高 | 高 |
|
||
| **3** | 市场风格 Embedding（大小盘/牛熊切换） | 中 | 中 | |