market_sync

kyugao/market_sync

Fork 0

Commit Graph

Author	SHA1	Message	Date
gao	295177027f	fix: market-sync 2h timeout 截断 + 加 daily-check 巡检 work #01 (2026-07-03)：昨天 15:30 runall 中 kline_5min 全量 69min 把 2h 窗口吃满，share_snapshot / market_regime 被 systemd SIGTERM 截断；今天又叠加 worker.py 未长驻，导致 10 个 task missed。变更： - bin/systemd/market-sync.service: TimeoutStartSec 7200 → 14400 (4h) - bin/daily_sync_check.py: 新增每日巡检，读 PG dataset_registry，对比 SCHEDULE 判定 ok/missed/failed/stuck/never_run，写 JSON 报告，失败时 POST HMAC webhook - bin/systemd/market-sync-daily-check.{service,timer}: 23:00 daily 触发 daily_check（替代 session-only 的 /loop 方案） - config/daily_check_secrets.env.template: webhook 配置模板 - docs/works/2026-07-03-01-market-sync-timeout.md: 完整 work 记录（根因 + 中期/长期改进建议） Co-Authored-By: Claude <noreply@anthropic.com>	2026-07-03 10:48:20 +08:00
gao	05635b76b9	chore: 重构前基线 — 9 个 sync task 全部 ok + akshare 移除 + mairui 资金流接入状态： - 9 个 sync task（stock_basic / kline_daily / kline_index / kline_5min / moneyflow / industry_sector / sector_features / share_snapshot / market_regime） - 数据源：baostock + mairui + 雪球(pysnowball) + 新浪（4 个） - 项目级约束：永远不用 akshare（已落实） - kline_5min 改用 DB 快照统一全量/增量逻辑 - 零后端 Chrome 扩展 xueqiu_sync（独立项目）	2026-06-15 15:36:09 +08:00

Author

SHA1

Message

Date

gao

295177027f

fix: market-sync 2h timeout 截断 + 加 daily-check 巡检

work #01 (2026-07-03)：昨天 15:30 runall 中 kline_5min 全量 69min 把 2h
窗口吃满，share_snapshot / market_regime 被 systemd SIGTERM 截断；
今天又叠加 worker.py 未长驻，导致 10 个 task missed。

变更：
- bin/systemd/market-sync.service: TimeoutStartSec 7200 → 14400 (4h)
- bin/daily_sync_check.py: 新增每日巡检，读 PG dataset_registry，
  对比 SCHEDULE 判定 ok/missed/failed/stuck/never_run，写 JSON 报告，
  失败时 POST HMAC webhook
- bin/systemd/market-sync-daily-check.{service,timer}: 23:00 daily 触发
  daily_check（替代 session-only 的 /loop 方案）
- config/daily_check_secrets.env.template: webhook 配置模板
- docs/works/2026-07-03-01-market-sync-timeout.md: 完整 work 记录
  （根因 + 中期/长期改进建议）

Co-Authored-By: Claude <noreply@anthropic.com>

2026-07-03 10:48:20 +08:00

gao

05635b76b9

chore: 重构前基线 — 9 个 sync task 全部 ok + akshare 移除 + mairui 资金流接入

状态：
- 9 个 sync task（stock_basic / kline_daily / kline_index / kline_5min /
  moneyflow / industry_sector / sector_features / share_snapshot / market_regime）
- 数据源：baostock + mairui + 雪球(pysnowball) + 新浪（4 个）
- 项目级约束：永远不用 akshare（已落实）
- kline_5min 改用 DB 快照统一全量/增量逻辑
- 零后端 Chrome 扩展 xueqiu_sync（独立项目）

2026-06-15 15:36:09 +08:00

2 Commits