refactor: PG-only 迁移 + 龙虎榜/tick/moneyflow 同步 + stock_code 统一 + mairui 编码修复

## 1. PG-only 重构
- 删 app/core/db/connection.py + schema.py (MySQL 路径)
- 新 app/core/db/{orm,models,pg_bootstrap}.py — SQLAlchemy 2.x ORM 一键建表
- 16 张业务表全在 market_data schema,原生 TIMESTAMPTZ / JSONB / Float / TEXT
- requirements.txt 删 PyMySQL 路径,加 psycopg2

## 2. 同步任务扩展(3 个新 task)
- **tick_trade** (mairui hsrl/zbjy):当天逐笔交易,21:00 发布
- **moneyflow** (mairui hsstock/history/transaction):个股资金流,21:30 发布
- **longhubang** (akshare):龙虎榜聚合层 + 席位层(2 张新表)
  - 长虎榜放宽 akshare 政策:仅"无替代源 + 烟测通过"场景允许
  - data_eastmoney 私有 API 不需要(akshare 烟测通过)
- 3-timer 设计:
  - 15:30 market-sync.service (8 base tasks via runall_once)
  - 21:05 market-sync-tick.service (tick_trade)
  - 21:35 market-sync-moneyflow.service (moneyflow)
  - 22:00 market-sync-lhb.service (longhubang,新加)
- bin/systemd/ 新增 tick / moneyflow / lhb 各 1 对 service+timer
- bin/market_sync_*_run.sh wrapper 脚本(不做法定节假日过滤,fail-open)

## 3. stock_code 统一为带 SH/SZ/BJ 前缀
- 历史 bug:stocks.code 用 SH600519,但 kline/moneyflow/tick_trade/kline_5min
  /stock_sector_map/industry 6 张表用纯 6 位 600519,跨表 JOIN 全部 0 行
- 新增 to_hermes() 工具:6位 / 9位(mairui `000001.SZ` 格式)→ 统一 SH000001
- 5 个 task 改写:用 to_hermes(code6) 写入 stock_code
- 一次性迁移 6 张表存量 154M 行(CASE WHEN 探测 + 去重 + 加前缀)
- ORM: stock_sector_map.stock_code / industry.code String(6)→String(10)

## 4. Bug 修复
- **share table stock_code 格式**:之前写 6 位不带前缀,与 stocks 不一致
  → 修 task_share_snapshot + 一次性 UPDATE 63,417 行加前缀
- **share_snapshot warning 状态错填 last_error**:
  → 加 mark_sync_warning() 走专用路径,不写 last_failure_at / last_error
- **schedule config lastRun 不同步**:
  → 加 update_job_status_for_dataset(),SyncTask.run() 完成后自动镜像
  → cli/runall 触发的 task 也能更新 schedule config

## 5. mairui UTF-8 编码修复
- 历史 bug:mairui.py:_fetch 用 latin-1 兜底解码,把所有 UTF-8 中文名
  double-encoded 写入 stocks.name(如 `歌华有线` 变成 `æ\xad\x8cå\x8d\x8e...`)
- 加 _decode_response():UTF-8 → GBK → latin-1 兜底
- 一次性修复 stocks.name 5,213 行:
  - 4,370 行 (encode('latin-1').decode('utf-8') 反向解码)
  - 616 行 (含 fullwidth A,宽松 printable 检查)
  - 820 行 (mid-character 截断,重新从 mairui 拉)

## 6. 测试
- tests/test_smoke.py: TASKS 10→11, SYNC_DEFINITIONS 10→11
- tests/test_schema_models.py: 16→18 张表,新增 longhubang_daily/seat
- pytest 11/11 passed

## 验证
- 6 张表 0 残留无前缀行
- stocks JOIN kline_stock / kline_5min / moneyflow / tick_trade / stock_sector_map:88-100% 命中
- 5,213 stocks.name 全部正确 UTF-8 中文
- pytest 11/11 passed
This commit is contained in:
gao
2026-07-01 22:00:58 +08:00
parent 05635b76b9
commit 7a985dddd5
45 changed files with 3037 additions and 958 deletions
+18 -36
View File
@@ -1,4 +1,7 @@
"""统一配置:从 .env / 环境变量读 MySQL、调度器、数据源开关等参数。"""
"""统一配置:从 .env / 环境变量读 PG、调度器、数据源开关等参数。
2026-06-16 重构:项目只支持 PostgreSQL,MySQL 字段全部移除。
"""
from __future__ import annotations
import os
@@ -27,18 +30,6 @@ if _HAS_DOTENV:
class Settings(BaseSettings):
"""应用配置。所有字段都可以通过环境变量或 .env 文件覆盖。"""
# MySQL
mysql_host: str = "127.0.0.1"
mysql_port: int = 3306
mysql_user: str = "root"
mysql_password: str = ""
# 同步任务写入的目标库(原始市场数据)
mysql_database: str = "market_data_sync_db"
# 简版库(对照测试,可选)
mysql_database_lite: str = "grid_seeker"
# 业务主库(保留— 同步任务不再写入)
mysql_database_business: str = "grid_seeker_model_base"
# Scheduler
scheduler_tick_seconds: int = 5
scheduler_timezone: str = "Asia/Shanghai"
@@ -57,6 +48,14 @@ class Settings(BaseSettings):
ds_sina_enabled: bool = True
xueqiu_token: str = ""
# PostgreSQL — 完整 URL(覆盖下面 PG_HOST 等)
pg_url: str = ""
pg_host: str = "127.0.0.1"
pg_port: int = 5432
pg_user: str = "market_sync"
pg_password: str = "market_sync"
pg_db_name: str = "market_data"
# Trading calendar
trading_holidays: str = ""
@@ -85,32 +84,15 @@ class Settings(BaseSettings):
return []
return [d.strip() for d in self.trading_holidays.split(",") if d.strip()]
def mysql_url(self, database: Optional[str] = None) -> str:
"""构造 SQLAlchemy URL。"""
db = database or self.mysql_database
def pg_sqlalchemy_url(self) -> str:
"""构造 PG 的 SQLAlchemy URL(自动剥掉 +psycopg2 让 SQLAlchemy 决定 driver"""
if self.pg_url:
return self.pg_url
return (
f"mysql+pymysql://{self.mysql_user}:{self.mysql_password}"
f"@{self.mysql_host}:{self.mysql_port}/{db}?charset=utf8mb4"
f"postgresql+psycopg2://{self.pg_user}:{self.pg_password}"
f"@{self.pg_host}:{self.pg_port}/{self.pg_db_name}"
)
def pymysql_connect_kwargs(self, database: Optional[str] = None) -> dict:
"""构造 pymysql.connect 的关键字参数。
内网自签名证书场景自动禁用 SSL。
"""
db = database or self.mysql_database
return {
"host": self.mysql_host,
"port": self.mysql_port,
"user": self.mysql_user,
"password": self.mysql_password,
"database": db,
"charset": "utf8mb4",
"autocommit": False,
# 兼容自签名证书的内网 MySQL — 禁用 SSL
"ssl": None,
}
_settings: Optional[Settings] = None