gao
a8ea132924
medium effort code-review 暴露 8 个 finding,按 P0/P1/P2 优先级修复: P0 (数据正确性 / 跑得起来): #1 replace_all_node_categories 改 scope-aware delete 之前无条件 delete(NodeCategory) + 插入 runtime filter 后的子集, 导致 --type2 0 跑把其它 6 个 category 误删。改为只 delete 本批 category_key 集合,其它 type2 不动。 #2 replace_all_stock_node_map 对称化 之前空 rows 时 early-return 留下 stale,导致「categories 新 但 mappings 旧」不一致。改为 scope-aware delete 同 #1。 #3 stock_node systemd --workers 20 → 8 20 workers × 默认 10 RPS = 200 RPS,撞穿 mairui 钻石档 100 RPS 上限,触发风控。改为 8 × 10 = 80 RPS,留 20% buffer。 P1 (静默错): #4 is_a_share_code 接 hermes 格式 之前硬性要求 len(c)==6,iter_stock_codes 改返 hermes 时 5 个 task (moneyflow/share_snapshot/kline_5min/tick_trade/kline_daily) 会静默过滤成空 list。剥前缀再判断,兼容 'SH600519'。 #5 mairui tz 契约钉在 source 层 tz_localize 改为「已带 tz 就保留,没有再标 Asia/Shanghai」, 避免 mairui 改格式时抛 TypeError。task_tick_trade 删掉 strftime fallback + 冗长注释(契约已在 source 层 docstring)。 #6 CLI inspect.signature 过滤 kwargs --type2 / --backfill 加在共享 p_sync parser 上,任何 task 通过 **kwargs 静默吞掉。改为 dispatcher 按 task._run 签名过滤, 不支持的参数打 warning。 P2 (维护): #7 task_stock_node --type2 输入校验 之前空字符串 / 「concept」 / 99 都 silently collapse 成空 set, 走「无匹配叶子节点」warning 分支(被 daily_check 当正常)。 CLI 不再 silent-drop,任务层加 strict 校验,typo 返 status=error。 #8 code6_to_exchange 删 3 个死分支 4 个 code6_to_* wrapper 都先 _strip_hermes,3 个 hermes if 分支 走不到。删除后 function 简化,所有 caller 行为不变。 附带: - tests/test_smoke.py: 11 → 13 (含 mairui_ma_daily + stock_node) - tests/test_schema_models.py: 21 → 22 (含 kline_stock_ma_daily + node_categories/nodes/stock_node_map) - bin/market_sync_stock_node_run.sh 注释补充 RPS 计算 验证: - pytest tests/ 11 passed - is_a_share_code 8 个 hermes 边界 case 全过 - cli sync kline_daily --type2 2,3 → warning 已打印 - cli sync stock_node --type2 concept → status=error - cli sync stock_node --type2 99 → status=error - cli sync stock_node --type2 0 → 仅 0:0 行被刷新,其它 6 类不动 - fetch_tick_trade('600519') 返回 tz=Asia/Shanghai +08:00
41 lines
2.0 KiB
Python
41 lines
2.0 KiB
Python
"""ORM 模型 metadata 一致性测试（PostgreSQL only，2026-06-16 重构后）。
|
||
|
||
历史背景：原 test_schema_models.py 还测了 schema.py vs models.py 的 DDL 漂移。
|
||
schema.py 在这次重构中已删除（MySQL DDL 不再需要），所以只保留 ORM metadata 完整性测试。
|
||
"""
|
||
from __future__ import annotations
|
||
|
||
|
||
def test_orm_metadata_registers_all_tables():
|
||
"""ORMBase.metadata 应该注册 22 张 PG 表（项目主业务表）。"""
|
||
from app.core.db import models # 触发全部模型 import
|
||
from app.core.db.orm import ORMBase
|
||
|
||
# 注意：SA 2.x 的 MetaData.tables 既能按 bare name 也能按 schema-qualified name 索引
|
||
# （keyed 容器），所以用 values() 拿 Table 对象再用 .name 拿 bare 名
|
||
bare_names = {t.name for t in ORMBase.metadata.tables.values()}
|
||
assert len(bare_names) == 22, f"期望 22 张 ORM 表，实际 {len(bare_names)}: {bare_names}"
|
||
expected = {
|
||
"config", "dataset_registry", "stocks", "indices",
|
||
"kline_stock", "kline_index", "kline_5min", "moneyflow", "share",
|
||
"sectors", "stock_sector_map", "industry",
|
||
"sector_indices", "sector_features_daily", "market_regime_daily",
|
||
"tick_trade",
|
||
"longhubang_daily", "longhubang_seat", # 2026-07-01 龙虎榜
|
||
"kline_stock_ma_daily", # 2026-07-04 mairui_ma_daily
|
||
"node_categories", "nodes", "stock_node_map", # 2026-07-02 股票-节点映射
|
||
}
|
||
assert bare_names == expected, f"ORM 表名集合与期望不符: {bare_names ^ expected}"
|
||
|
||
|
||
def test_orm_tables_in_market_data_schema():
|
||
"""所有 ORM 表应该在 market_data PG schema 下（不是 public，不是 None）。"""
|
||
from app.core.db import models # 触发全部模型 import
|
||
from app.core.db.orm import ORMBase
|
||
|
||
bad = []
|
||
for table in ORMBase.metadata.tables.values():
|
||
if table.schema != "market_data":
|
||
bad.append((table.name, table.schema))
|
||
assert not bad, f"以下表 schema 不是 market_data: {bad}"
|