refactor: PG-only 迁移 + 龙虎榜/tick/moneyflow 同步 + stock_code 统一 + mairui 编码修复
## 1. PG-only 重构
- 删 app/core/db/connection.py + schema.py (MySQL 路径)
- 新 app/core/db/{orm,models,pg_bootstrap}.py — SQLAlchemy 2.x ORM 一键建表
- 16 张业务表全在 market_data schema,原生 TIMESTAMPTZ / JSONB / Float / TEXT
- requirements.txt 删 PyMySQL 路径,加 psycopg2
## 2. 同步任务扩展(3 个新 task)
- **tick_trade** (mairui hsrl/zbjy):当天逐笔交易,21:00 发布
- **moneyflow** (mairui hsstock/history/transaction):个股资金流,21:30 发布
- **longhubang** (akshare):龙虎榜聚合层 + 席位层(2 张新表)
- 长虎榜放宽 akshare 政策:仅"无替代源 + 烟测通过"场景允许
- data_eastmoney 私有 API 不需要(akshare 烟测通过)
- 3-timer 设计:
- 15:30 market-sync.service (8 base tasks via runall_once)
- 21:05 market-sync-tick.service (tick_trade)
- 21:35 market-sync-moneyflow.service (moneyflow)
- 22:00 market-sync-lhb.service (longhubang,新加)
- bin/systemd/ 新增 tick / moneyflow / lhb 各 1 对 service+timer
- bin/market_sync_*_run.sh wrapper 脚本(不做法定节假日过滤,fail-open)
## 3. stock_code 统一为带 SH/SZ/BJ 前缀
- 历史 bug:stocks.code 用 SH600519,但 kline/moneyflow/tick_trade/kline_5min
/stock_sector_map/industry 6 张表用纯 6 位 600519,跨表 JOIN 全部 0 行
- 新增 to_hermes() 工具:6位 / 9位(mairui `000001.SZ` 格式)→ 统一 SH000001
- 5 个 task 改写:用 to_hermes(code6) 写入 stock_code
- 一次性迁移 6 张表存量 154M 行(CASE WHEN 探测 + 去重 + 加前缀)
- ORM: stock_sector_map.stock_code / industry.code String(6)→String(10)
## 4. Bug 修复
- **share table stock_code 格式**:之前写 6 位不带前缀,与 stocks 不一致
→ 修 task_share_snapshot + 一次性 UPDATE 63,417 行加前缀
- **share_snapshot warning 状态错填 last_error**:
→ 加 mark_sync_warning() 走专用路径,不写 last_failure_at / last_error
- **schedule config lastRun 不同步**:
→ 加 update_job_status_for_dataset(),SyncTask.run() 完成后自动镜像
→ cli/runall 触发的 task 也能更新 schedule config
## 5. mairui UTF-8 编码修复
- 历史 bug:mairui.py:_fetch 用 latin-1 兜底解码,把所有 UTF-8 中文名
double-encoded 写入 stocks.name(如 `歌华有线` 变成 `æ\xad\x8cå\x8d\x8e...`)
- 加 _decode_response():UTF-8 → GBK → latin-1 兜底
- 一次性修复 stocks.name 5,213 行:
- 4,370 行 (encode('latin-1').decode('utf-8') 反向解码)
- 616 行 (含 fullwidth Ａ,宽松 printable 检查)
- 820 行 (mid-character 截断,重新从 mairui 拉)
## 6. 测试
- tests/test_smoke.py: TASKS 10→11, SYNC_DEFINITIONS 10→11
- tests/test_schema_models.py: 16→18 张表,新增 longhubang_daily/seat
- pytest 11/11 passed
## 验证
- 6 张表 0 残留无前缀行
- stocks JOIN kline_stock / kline_5min / moneyflow / tick_trade / stock_sector_map:88-100% 命中
- 5,213 stocks.name 全部正确 UTF-8 中文
- pytest 11/11 passed
This commit is contained in:
gao
@@ -0,0 +1,216 @@
|
||||
"""akshare 龙虎榜数据源（2026-07-01 引入）。
|
||||
|
||||
提供：
|
||||
- 龙虎榜聚合层（`ak.stock_lhb_detail_em`）：每日上榜股票汇总
|
||||
- 龙虎榜席位层（`ak.stock_lhb_stock_detail_em`）：单只上榜票的买卖前五营业部
|
||||
|
||||
设计原则：
|
||||
- 严格遵循 [[no-akshare]] 当前规则：仅"无替代源"场景可用。
|
||||
龙虎榜无合理替代（baostock / mairui / 雪球均无龙虎榜接口）→ 用 akshare。
|
||||
- 速率限制：~0.5 RPS 主动 sleep（akshare 经验值；东财未明确限速）
|
||||
- 失败处理：席位层对"未上榜"的股票会触发 akshare 内部 `'NoneType' object is not subscriptable`
|
||||
→ 在外层 try/except 吞掉该异常，按"空数据"处理。
|
||||
- 每次调用前显式 sleep 0.4s，避免被东财风控。
|
||||
"""
|
||||
from __future__ import annotations
|
||||
|
||||
import threading
|
||||
import time
|
||||
from typing import Any, Optional
|
||||
|
||||
import pandas as pd
|
||||
|
||||
from app.core.datasource.base import DataSource
|
||||
from app.core.utils.logging import get_logger
|
||||
|
||||
logger = get_logger("akshare_lhb")
|
||||
|
||||
|
||||
class AkshareLhbSource(DataSource):
|
||||
"""akshare 龙虎榜数据源（基于东方财富私有 API 的 akshare 封装）。"""
|
||||
|
||||
key = "datasource_akshare_lhb"
|
||||
name = "akshare 龙虎榜（东方财富封装）"
|
||||
provides = ["longhubang_daily", "longhubang_seat"]
|
||||
requires_credential = False
|
||||
|
||||
# 全局 RPS 限流（akshare → 东财私有 API）
|
||||
# 设 2.5 RPS（0.4s 间隔）—— 经验值比 mairui 钻石档保守，避免被东财风控
|
||||
_RPS_LIMIT = 2.5
|
||||
_rate_lock = threading.Lock()
|
||||
_last_request_ts = 0.0
|
||||
|
||||
@classmethod
|
||||
def _wait_rps(cls) -> None:
|
||||
"""全局 RPS 限流：每次 akshare 调用前 sleep。"""
|
||||
with cls._rate_lock:
|
||||
now = time.time()
|
||||
elapsed = now - cls._last_request_ts
|
||||
min_interval = 1.0 / cls._RPS_LIMIT
|
||||
if elapsed < min_interval:
|
||||
time.sleep(min_interval - elapsed)
|
||||
cls._last_request_ts = time.time()
|
||||
|
||||
def is_available(self) -> tuple[bool, str]:
|
||||
try:
|
||||
import akshare # noqa: F401
|
||||
return True, "akshare 已安装"
|
||||
except ImportError as e:
|
||||
return False, f"akshare 未安装: {e}"
|
||||
|
||||
def health_check(self) -> dict[str, Any]:
|
||||
try:
|
||||
import akshare as ak
|
||||
# 用一次历史数据作烟测（取一个肯定有数据的工作日；2024-06-14 是周五）
|
||||
self._wait_rps()
|
||||
try:
|
||||
df = ak.stock_lhb_detail_em(start_date="20240614", end_date="20240614")
|
||||
except Exception as inner_e:
|
||||
# akshare 在节假日可能返 None 然后内部崩，catch 后报失败
|
||||
return {"success": False, "message": f"akshare 龙虎榜失败: {inner_e}"}
|
||||
if df is None or df.empty:
|
||||
return {"success": False, "message": "akshare 龙虎榜返回空（可能是节假日）"}
|
||||
return {"success": True, "message": f"akshare 龙虎榜 OK,样例 {len(df)} 行"}
|
||||
except Exception as e:
|
||||
return {"success": False, "message": f"akshare 龙虎榜失败: {e}"}
|
||||
|
||||
# ── 聚合层 ───────────────────────────────────────────
|
||||
|
||||
def fetch_longhubang_daily(
|
||||
self,
|
||||
start_date: str,
|
||||
end_date: str,
|
||||
) -> pd.DataFrame:
|
||||
"""龙虎榜每日上榜股票汇总。
|
||||
|
||||
Args:
|
||||
start_date / end_date: 'YYYY-MM-DD' 或 'YYYYMMDD'（akshare 接受两种）
|
||||
Returns:
|
||||
DataFrame 字段：
|
||||
序号 / 代码 / 名称 / 上榜日 / 解读 / 收盘价 / 涨跌幅 /
|
||||
龙虎榜净买额 / 龙虎榜买入额 / 龙虎榜卖出额 / 龙虎榜成交额 /
|
||||
市场总成交额 / 净买额占总成交比 / 成交额占总成交比 / 换手率 /
|
||||
流通市值 / 上榜原因 / 上榜后1日 / 上榜后2日 / 上榜后5日 / 上榜后10日
|
||||
"""
|
||||
try:
|
||||
import akshare as ak
|
||||
except ImportError:
|
||||
return pd.DataFrame()
|
||||
# 兼容两种日期格式：YYYYMMDD 直接传，YYYY-MM-DD 剥横线
|
||||
sd = start_date.replace("-", "")
|
||||
ed = end_date.replace("-", "")
|
||||
self._wait_rps()
|
||||
try:
|
||||
df = ak.stock_lhb_detail_em(start_date=sd, end_date=ed)
|
||||
except Exception as e:
|
||||
logger.warning(f"[akshare] stock_lhb_detail_em({sd},{ed}) failed: {e}")
|
||||
return pd.DataFrame()
|
||||
if df is None or df.empty:
|
||||
return pd.DataFrame()
|
||||
# akshare 6 位代码不带交易所前缀；project 标准是 SH600000 / SZ000001 → 加前缀
|
||||
df = df.copy()
|
||||
df["stock_code"] = df["代码"].astype(str).str.zfill(6).apply(self._prefix_code)
|
||||
df = df.rename(columns={
|
||||
"名称": "stock_name",
|
||||
"上榜日": "trade_date",
|
||||
"解读": "comment",
|
||||
"收盘价": "close",
|
||||
"涨跌幅": "pct_chg",
|
||||
"龙虎榜净买额": "lhb_net_buy",
|
||||
"龙虎榜买入额": "lhb_buy_amt",
|
||||
"龙虎榜卖出额": "lhb_sell_amt",
|
||||
"龙虎榜成交额": "lhb_total_amt",
|
||||
"市场总成交额": "market_total_amt",
|
||||
"净买额占总成交比": "net_buy_ratio",
|
||||
"成交额占总成交比": "total_amt_ratio",
|
||||
"换手率": "turnover_rate",
|
||||
"流通市值": "float_mv",
|
||||
"上榜原因": "reason",
|
||||
"上榜后1日": "post_1d_pct",
|
||||
"上榜后2日": "post_2d_pct",
|
||||
"上榜后5日": "post_5d_pct",
|
||||
"上榜后10日": "post_10d_pct",
|
||||
"序号": "rank_idx",
|
||||
})
|
||||
# 去重：akshare 同一天同一只票可能因多上榜原因（涨幅+换手率）返回多行，
|
||||
# 数值相同只 reason 不同 → 按 (stock_code, trade_date) group by，
|
||||
# reason 用 " | " 拼接保留所有原因，数值列 first()
|
||||
agg_cols = {
|
||||
"stock_name": "first",
|
||||
"rank_idx": "min",
|
||||
"comment": "first",
|
||||
"close": "first",
|
||||
"pct_chg": "first",
|
||||
"lhb_net_buy": "first",
|
||||
"lhb_buy_amt": "first",
|
||||
"lhb_sell_amt": "first",
|
||||
"lhb_total_amt": "first",
|
||||
"market_total_amt": "first",
|
||||
"net_buy_ratio": "first",
|
||||
"total_amt_ratio": "first",
|
||||
"turnover_rate": "first",
|
||||
"float_mv": "first",
|
||||
"reason": lambda s: " | ".join(sorted(set(v for v in s if v))),
|
||||
"post_1d_pct": "first",
|
||||
"post_2d_pct": "first",
|
||||
"post_5d_pct": "first",
|
||||
"post_10d_pct": "first",
|
||||
}
|
||||
df = (
|
||||
df.groupby(["stock_code", "trade_date"], as_index=False)
|
||||
.agg(agg_cols)
|
||||
)
|
||||
return df
|
||||
|
||||
@staticmethod
|
||||
def _prefix_code(code6: str) -> str:
|
||||
"""6 位代码 → SH/SZ 前缀。"""
|
||||
if code6.startswith(("5", "6", "9")):
|
||||
return f"SH{code6}"
|
||||
return f"SZ{code6}"
|
||||
|
||||
# ── 席位层 ───────────────────────────────────────────
|
||||
|
||||
def fetch_longhubang_seat(
|
||||
self,
|
||||
code6: str,
|
||||
trade_date: str,
|
||||
direction: str = "buy",
|
||||
) -> pd.DataFrame:
|
||||
"""单只上榜股票单日的买/卖前 5 营业部。
|
||||
|
||||
Args:
|
||||
code6: 6 位股票代码（无交易所前缀）
|
||||
trade_date: 'YYYY-MM-DD'（akshare 要求此格式）
|
||||
direction: 'buy' / 'sell'（中文：'买入' / '卖出'）
|
||||
Returns:
|
||||
DataFrame 字段：
|
||||
序号 / 交易营业部名称 / 买入金额 / 买入金额-占总成交比例 /
|
||||
卖出金额 / 卖出金额-占总成交比例 / 净额 / 类型
|
||||
|
||||
注意：若该股当日未上榜，akshare 内部抛 `'NoneType' object is not subscriptable`，
|
||||
我们 try/except 吞掉返回空 DataFrame（正常情况，不是错）。
|
||||
"""
|
||||
try:
|
||||
import akshare as ak
|
||||
except ImportError:
|
||||
return pd.DataFrame()
|
||||
flag = "买入" if direction == "buy" else "卖出"
|
||||
# akshare 的 stock_lhb_stock_detail_em 要 YYYYMMDD 格式（不带横线），
|
||||
# YYYY-MM-DD 会返回 None 然后内部崩在 'NoneType' object is not subscriptable
|
||||
date_yyyymmdd = str(trade_date).replace("-", "")
|
||||
self._wait_rps()
|
||||
try:
|
||||
df = ak.stock_lhb_stock_detail_em(
|
||||
symbol=str(code6).zfill(6),
|
||||
date=date_yyyymmdd,
|
||||
flag=flag,
|
||||
)
|
||||
except Exception as e:
|
||||
# 'NoneType' object is not subscriptable = 股票未上榜（akshare bug）
|
||||
# 其他真错也兜住，返回空
|
||||
logger.debug(f"[akshare] stock_lhb_stock_detail_em({code6},{date_yyyymmdd},{flag}) → {type(e).__name__}: {e}")
|
||||
return pd.DataFrame()
|
||||
if df is None or df.empty:
|
||||
return pd.DataFrame()
|
||||
return df
|
||||
+115
-12
@@ -5,6 +5,7 @@
|
||||
- 5 分钟 K 线（`hsstock/history/{code}.{ex}/5/n/{licence}`）
|
||||
- 指数日 K 线（`hsindex/history/{code}.{ex}/d/{licence}`）
|
||||
- 资金流向（`hsstock/history/transaction/{code}.{ex}/{licence}`）
|
||||
- 当天逐笔交易（`hsrl/zbjy/{code6}/{licence}`）
|
||||
|
||||
限速：1分钟300次（默认保守到 5 RPS = 1分钟300次）
|
||||
凭证：licence（无需登录态，从环境变量 MAIRUI_LICENCE 读取）
|
||||
@@ -31,7 +32,7 @@ from app.core.datasource.utils import (
|
||||
class MairuiSource(DataSource):
|
||||
key = "datasource_mairui"
|
||||
name = "麦蕊智数（mairui.club）"
|
||||
provides = ["kline_daily", "kline_5min", "index_daily", "stock_basic", "moneyflow"]
|
||||
provides = ["kline_daily", "kline_5min", "index_daily", "stock_basic", "moneyflow", "tick_trade"]
|
||||
requires_credential = True
|
||||
credential_key = "MAIRUI_LICENCE"
|
||||
|
||||
@@ -41,11 +42,20 @@ class MairuiSource(DataSource):
|
||||
}
|
||||
_BASE_URL = "https://api.mairuiapi.com"
|
||||
|
||||
# mairui 免费 licence 1 分钟 300 次 = 5 RPS（**单 licence**硬上限）。
|
||||
# 5 workers × 1 RPS/worker = 5 RPS 总 = 刚好踩满上限，避免风控。
|
||||
# mairui licence 限速（按 tier）：
|
||||
# 免费版: 1 min/300 次 = 5 RPS
|
||||
# 体验版: 1 min/1千次 = 16.67 RPS
|
||||
# 包年版: 1 min/3千次 = 50 RPS
|
||||
# 钻石版: 1 min/6千次 = 100 RPS ← 当前项目用
|
||||
#
|
||||
# 用法：5 workers × _RPS_LIMIT RPS/worker = 总 RPS。
|
||||
# 默认 10.0 → 5 workers = 50 RPS（钻石 100 RPS 的一半，留 50% buffer 防风控）。
|
||||
# 如需调：env `MAIRUI_RPS_LIMIT=20` → 100 RPS (踩满钻石);
|
||||
# `MAIRUI_RPS_LIMIT=1` → 5 RPS (回退到免费档兼容)。
|
||||
#
|
||||
# 用 thread-local 计时：每个 worker 独立计自己的 last_ts，
|
||||
# 避免 N 个 worker 串行抢一把锁退化成 1 worker。
|
||||
_RPS_LIMIT = 1.0
|
||||
_RPS_LIMIT = float(os.environ.get("MAIRUI_RPS_LIMIT", "10"))
|
||||
_rps_local = threading.local()
|
||||
|
||||
@classmethod
|
||||
@@ -87,7 +97,18 @@ class MairuiSource(DataSource):
|
||||
return {"success": False, "message": f"麦蕊连接失败: {e}"}
|
||||
|
||||
def _fetch(self, path: str, params: dict[str, Any], retry: int = 2) -> Any:
|
||||
"""通用 GET，含限速 + 重试。"""
|
||||
"""通用 GET，含限速 + 重试。
|
||||
|
||||
编码探测顺序 (2026-07-01 修复):
|
||||
1) UTF-8 — 正常 JSON 响应
|
||||
2) GBK — mairui 风控时的中文错误消息 ("接收数据异常，请稍后再试")
|
||||
3) latin-1 兜底 — 防御性 fallback (历史 Python repr'd 字符串)
|
||||
|
||||
历史 bug (2026-06-16 之前): 无条件 `raw_bytes.decode("latin-1")`，
|
||||
把 UTF-8 中文名全部 double-encoded (Latin-1 → UTF-8) → 写入 DB
|
||||
后 stock_name 看起来正常但 hex 是错的双倍长度字节。
|
||||
修复后正常 JSON 走 UTF-8，错误消息走 GBK，Latin-1 仅作兜底。
|
||||
"""
|
||||
self._wait_rps()
|
||||
qs = "&".join(f"{k}={v}" for k, v in params.items() if v)
|
||||
url = f"{self._BASE_URL}{path}"
|
||||
@@ -98,16 +119,14 @@ class MairuiSource(DataSource):
|
||||
try:
|
||||
req = urllib.request.Request(url, headers=self._HEADERS)
|
||||
with urllib.request.urlopen(req, timeout=20) as resp:
|
||||
# 先按 gbk 试（中文乱码返回），再 fallback utf-8
|
||||
raw_bytes = resp.read()
|
||||
# 用 latin-1 永不失败地把 bytes 转成字符串（每字节 1 字符）
|
||||
raw = raw_bytes.decode("latin-1")
|
||||
# mairui 风控时返回 "接收数据异常，请稍后再试"（gbk 编码）
|
||||
# 编码探测: 优先 UTF-8, fallback GBK, 兜底 latin-1
|
||||
raw = self._decode_response(raw_bytes)
|
||||
# 风控提示 (GBK 编码的中文消息)
|
||||
if "请稍后再试" in raw or "codec can't decode" in raw or raw.startswith("'utf-8'") or "Error -3 while decompressing" in raw:
|
||||
raise RuntimeError(f"mairui 返回风控提示: {raw[:80]}")
|
||||
# 试 JSON parse；如果是 gbk 编码的中文提示，要先解码
|
||||
# Python repr'd 字符串: "'接收数据异常，请稍后再试'" (GBK bytes 用 latin-1 解码后又被 Python repr)
|
||||
if raw.startswith("'") and raw.endswith("'"):
|
||||
# gbk 编码的 Python repr 字符串，如 "'接收数据异常，请稍后再试'"
|
||||
try:
|
||||
decoded = raw[1:-1].encode("latin-1").decode("gbk")
|
||||
if "请稍后再试" in decoded:
|
||||
@@ -123,6 +142,22 @@ class MairuiSource(DataSource):
|
||||
get_logger("mairui").debug(f"mairui fetch {url} failed: {last_err}")
|
||||
return []
|
||||
|
||||
@staticmethod
|
||||
def _decode_response(raw_bytes: bytes) -> str:
|
||||
"""探测响应字节流的编码,优先 UTF-8,fallback GBK,latin-1 兜底。"""
|
||||
# 1) UTF-8: 99% 的情况 (正常 JSON 响应)
|
||||
try:
|
||||
return raw_bytes.decode("utf-8")
|
||||
except UnicodeDecodeError:
|
||||
pass
|
||||
# 2) GBK: mairui 风控时返 GBK 编码的中文错误消息
|
||||
try:
|
||||
return raw_bytes.decode("gbk")
|
||||
except UnicodeDecodeError:
|
||||
pass
|
||||
# 3) latin-1 兜底: 永不失败,但可能产生错乱字符
|
||||
return raw_bytes.decode("latin-1")
|
||||
|
||||
# ── 股票列表 ───────────────────────────────────────────
|
||||
|
||||
def fetch_stock_list(self) -> list[dict]:
|
||||
@@ -376,4 +411,72 @@ class MairuiSource(DataSource):
|
||||
df = df[df["trade_date"] >= start]
|
||||
if end:
|
||||
df = df[df["trade_date"] <= end]
|
||||
return df.sort_values("trade_date").reset_index(drop=True)
|
||||
return df.sort_values("trade_date").reset_index(drop=True)
|
||||
|
||||
# ── 当天逐笔交易 ───────────────────────────────────────
|
||||
|
||||
def fetch_tick_trade(self, code6: str) -> pd.DataFrame:
|
||||
"""当天逐笔交易（mairui 不支持历史回溯，仅当天数据）。
|
||||
|
||||
API: GET /hsrl/zbjy/{code6}/{licence} （无 st/et 参数）
|
||||
文档：https://mairui.club/hsdata → "当天逐笔交易"
|
||||
更新：每日 21:00。
|
||||
排序：按时间倒序。
|
||||
限速：1 min/300 次（与其它接口共享 licence 配额）。
|
||||
|
||||
返回字段：
|
||||
d string 数据归属日期（yyyy-MM-dd）
|
||||
t string 时间（HH:mm:dd，文档笔误，应为 HH:mm:ss）
|
||||
v number 成交量（股）
|
||||
p number 成交价（元）
|
||||
ts number 交易方向 0=中性盘 / 1=买入 / 2=卖出
|
||||
|
||||
派生字段：
|
||||
trade_time = d + 'T' + t（datetime64[ns, UTC]，无 tz 直接当本地时区）
|
||||
direction = 0/1/2 → 'neutral'/'buy'/'sell'
|
||||
amount = price * volume（元）
|
||||
stock_code = 外部传入的 6 位 code（保持与其它表一致）
|
||||
"""
|
||||
lic = self._get_licence()
|
||||
if not lic:
|
||||
return pd.DataFrame()
|
||||
path = f"/hsrl/zbjy/{code6}/{lic}"
|
||||
data = self._fetch(path, {}) # 200/200 —— 不需要 start/end
|
||||
if not isinstance(data, list) or not data:
|
||||
return pd.DataFrame()
|
||||
|
||||
direction_map = {0: "neutral", 1: "buy", 2: "sell"}
|
||||
records = []
|
||||
for item in data:
|
||||
try:
|
||||
d = str(item.get("d", "") or "").strip()
|
||||
t = str(item.get("t", "") or "").strip()
|
||||
if not d or not t:
|
||||
continue
|
||||
# mairui `t` 形如 "14:53:21"，拼成 ISO 字符串让 pandas 解析
|
||||
iso = f"{d}T{t}"
|
||||
ts_val = pd.to_datetime(iso, errors="coerce")
|
||||
if pd.isna(ts_val):
|
||||
continue
|
||||
price = float(item.get("p") or 0)
|
||||
volume = float(item.get("v") or 0)
|
||||
if price <= 0 or volume <= 0:
|
||||
continue
|
||||
ts_code = int(item.get("ts") or 0)
|
||||
records.append({
|
||||
"stock_code": code6,
|
||||
"trade_date": d,
|
||||
"trade_time": ts_val.to_pydatetime(),
|
||||
"price": price,
|
||||
"volume": volume,
|
||||
"direction_code": ts_code,
|
||||
"direction": direction_map.get(ts_code, ""),
|
||||
"amount": round(price * volume, 2),
|
||||
})
|
||||
except (KeyError, ValueError, TypeError):
|
||||
continue
|
||||
if not records:
|
||||
return pd.DataFrame()
|
||||
df = pd.DataFrame(records)
|
||||
# mairui 按时间倒序，统一升序便于入库
|
||||
return df.sort_values("trade_time").reset_index(drop=True)
|
||||
Reference in New Issue
Block a user