 gao
|
f7a2cbe5a8
|
fix(daily_check): 期望窗口未到不应判 missed
work #07 (2026-07-03)：daily_check 在日内运行时（如 09:00/12:00/15:00）
误把'还没到时间'的任务标 missed。SCHEDULE 里有 window_end 但 _classify_task
没用到——直接判 last_success vs today_start。
修复：判定 missed 之前先比较 now vs window_end；未到则返回 not_yet
（新状态，不进 alerts），已过但今日未成功走原 missed 路径。解析失败
回落旧逻辑不引入风险。
验证 4 个用例：12:00 kline_daily→not_yet, 18:00 kline_daily→missed,
18:00 longhubang→not_yet, 22:30 longhubang→missed。全部正确。
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-07-03 18:25:50 +08:00 |
|
|
gao
|
b351bd7595
|
feat: 新增 mairui 历史分时 MA 日 K 级别 sync task
work #06 (2026-07-03)：user 请求加 mairui /hsdata 历史分时 MA 同步（日 K 级别）。
mairui 端点探测：/d/ma, /d/ma5/10/20, /15/ma, /30/ma, /60/ma 端点结构存在
但当前免费 licence 返 数据不存在；基础 K 线 (/d/n, /15/n, /30/n, /60/n) 正常。
策略：本地从 kline_stock 计算（pandas per-stock rolling），写新表
kline_stock_ma_daily，source=local_kline_proxy 标识本地派生。
mairui URL 留作未来升级 licence 后切 API 用。
变更：
- app/core/db/models.py: KlineStockMADaily ORM model
- app/core/db/ops.py: upsert_kline_stock_ma_daily_rows (批量 5000/批)
- app/tasks/task_mairui_ma_daily.py: SyncMairuiMADaily (全量重算)
- app/tasks/__init__.py: 注册到 TASKS dict
- app/core/sync/registry.py: SYNC_DEFINITION (sort_order=90, dep=kline_daily)
- app/core/scheduler/scheduler.py: schedule_mairui_ma_daily @ 16:30 + register_sync_jobs
- bin/daily_sync_check.py: SCHEDULE entry (window_end=17:00)
烟测：11,684,592 行, 5510 只, 1370s (23min)，MA5/10/20/60 全部计算。
SH600519 样本：ma5=1194.18 ma10=1191.03 ma20=1211.94 ma60=1296.20 (2026-07-03)
未来优化（不在本 work）：
- 增量模式（每日只算最近 1-2 天）→ 23min → 30s
- 升级 mairui licence 切到 /d/maN API
- 加 EMA / BOLL / KDJ 等其他指标
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-07-03 17:36:49 +08:00 |
|
|
gao
|
cf45f98a8a
|
feat(daily_check): systemd unit drift 自动检测
work #04 (2026-07-03)：user 重申 sync 目标强调 timer/service/依赖/编码格式
全链路审计，发现 5 处 systemd unit drift：work #01 (4h timeout) 和 work #02
(morning.timer) 代码改了但没 cp 到 /etc/systemd/system/，等于没修。
根因：deployment 与 repo 各自演进无任何告警机制。
修复：在 daily_sync_check 加 _check_systemd_drift() 段，对比
bin/systemd/ 与 /etc/systemd/system/ 下所有 market-sync* unit：
- missing_in_etc (未部署) → status=not_deployed
- drifted (两边有但内容不一致, SHA256 比对) → status=drifted
- orphan_in_etc (/etc 有 repo 没维护, 捕获僵尸 unit) → status=orphan
drift 合入 alerts 让 webhook 也带；report schema_version 1→2。
立即验证：跑 daily_check 抓到 5 处 drift（4 未部署 + 1 内容不一致），
status=warning 让 webhook 自动发出——以后任何 deployment drift 都逃不掉。
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-07-03 11:37:21 +08:00 |
|
|
gao
|
295177027f
|
fix: market-sync 2h timeout 截断 + 加 daily-check 巡检
work #01 (2026-07-03)：昨天 15:30 runall 中 kline_5min 全量 69min 把 2h
窗口吃满，share_snapshot / market_regime 被 systemd SIGTERM 截断；
今天又叠加 worker.py 未长驻，导致 10 个 task missed。
变更：
- bin/systemd/market-sync.service: TimeoutStartSec 7200 → 14400 (4h)
- bin/daily_sync_check.py: 新增每日巡检，读 PG dataset_registry，
对比 SCHEDULE 判定 ok/missed/failed/stuck/never_run，写 JSON 报告，
失败时 POST HMAC webhook
- bin/systemd/market-sync-daily-check.{service,timer}: 23:00 daily 触发
daily_check（替代 session-only 的 /loop 方案）
- config/daily_check_secrets.env.template: webhook 配置模板
- docs/works/2026-07-03-01-market-sync-timeout.md: 完整 work 记录
（根因 + 中期/长期改进建议）
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-07-03 10:48:20 +08:00 |
|