gao
f7a2cbe5a8
work #07 (2026-07-03)：daily_check 在日内运行时（如 09:00/12:00/15:00） 误把'还没到时间'的任务标 missed。SCHEDULE 里有 window_end 但 _classify_task 没用到——直接判 last_success vs today_start。 修复：判定 missed 之前先比较 now vs window_end；未到则返回 not_yet （新状态，不进 alerts），已过但今日未成功走原 missed 路径。解析失败 回落旧逻辑不引入风险。 验证 4 个用例：12:00 kline_daily→not_yet, 18:00 kline_daily→missed, 18:00 longhubang→not_yet, 22:30 longhubang→missed。全部正确。 Co-Authored-By: Claude <noreply@anthropic.com>
market_data_sync
A 股市场数据定时同步与管理框架。
把 akshare / baostock / 新浪 / 雪球 / 麦蕊智数 等多个数据源接入到 MySQL 库，提供：
- 后台线程调度器（time-based + interval-based，交易日感知）
- 多数据源 + 自动降级 + 健康度监控
dataset_registry同步状态机（运行中 / 成功 / 失败 / 中断恢复）- FastAPI 管理接口（手动触发、状态查询、失败重试）
- CLI 入口（手动跑任务、查看状态）
📖 详细架构说明见 docs/ARCHITECTURE.md
快速开始
# 1. 准备环境（首次）
cp .env.example .env # 编辑 .env 填写真实 MySQL 凭据 + XUEQIU_TOKEN
chmod +x start.sh
./start.sh # 自动创建 .venv + 装依赖 + 启动 API（http://localhost:8100）
# 2. 常用命令
./start.sh worker # 仅启动调度器（无 web）
./start.sh list # 列出所有同步任务
./start.sh sync kline_daily # 手动触发一次（dataset_id 即可）
./start.sh status # 查看调度器/数据源/同步任务状态
./start.sh datasources # 查看数据源健康度
./start.sh reseed # 重新 seed 默认配置到 config 表
# 3. 一键全量同步（首次接入）
python bin/runall_once.py
# 4. 跑测试
.venv/bin/pytest tests/ -v
项目结构
app/
├── core/ # 核心抽象（config / db / sync / scheduler / datasource base）
├── sources/ # 数据源实现（5 个）
├── tasks/ # 同步任务实现（8 个）
├── api/ # FastAPI 管理接口
└── entrypoints/ # 进程入口（cli + worker）
bin/ # 一次性脚本
docs/ # 架构文档
tests/ # 单元测试
内置同步任务
| dataset_id | 触发时间 | 说明 |
|---|---|---|
stock_basic |
交易日 09:00 | 全市场股票基础信息 + 股本 |
kline_daily |
交易日 15:40 | 增量日 K 线（OHLCV，多源交叉） |
kline_index |
交易日 15:50 | 六大指数日线 |
kline_5min |
交易日 16:00 | 增量 5 分钟 K 线 |
moneyflow |
交易日 16:30 | 资金流（主力/大/中/小单净额） |
industry_sector |
周一 09:30 | 股票-行业映射（Baostock） |
share_snapshot |
交易日 09:30 | 股本快照（雪球） |
market_regime |
交易日 16:00 | 市场情绪（衍生源） |
添加新数据源
- 在
app/sources/新建my_source.py，继承DataSource - 在
app/core/datasource/registry.py的build_default_registry()注册
添加新同步任务
- 在
app/tasks/新建task_xxx.py，继承SyncTask，设置dataset_id - 在
app/tasks/__init__.py的TASKS字典注册 - （可选）在
app/core/sync/registry.py的SYNC_DEFINITIONS加条目
License
私有