chore: baseline — ORM migration + systemd deploy + MCP server + daily check

- ORM migration: models/ops 重构 - deploy: 标准化 systemd timer/service 部署体系 - MCP server: 5 个只读工具(任务/状态/数据集) - daily check: 数据一致性巡检 - watch: task_watch 后台监控 - kline_daily: 麦蕊优先,时间门禁15:00 - 删除: task_industry_sector, task_sector_features
2026-07-21 16:37:00 +08:00
parent 91e83a3b0b
commit 8f016f25df
94 changed files with 4117 additions and 1176 deletions
@@ -0,0 +1,65 @@
+# syntax=docker/dockerfile:1.6
+# ─────────────────────────────────────────────────────────────
+# market_sync 数据同步服务
+# 单镜像同时跑：FastAPI dashboard + 进程内 scheduler（worker）
+# 部署：docker compose up -d
+# ─────────────────────────────────────────────────────────────
+
+# --- builder stage: 装依赖到 venv ---
+FROM python:3.11-slim AS builder
+
+ENV PYTHONUNBUFFERED=1 \
+    PYTHONDONTWRITEBYTECODE=1 \
+    PIP_NO_CACHE_DIR=1 \
+    PIP_DISABLE_PIP_VERSION_CHECK=1
+
+# 仅装编译期需要的系统包（很多 wheel 已预编译，但 psycopg2 / cryptography 可能要）
+RUN apt-get update && apt-get install -y --no-install-recommends \
+        build-essential gcc libpq-dev \
+    && rm -rf /var/lib/apt/lists/*
+
+WORKDIR /app
+
+# 先 copy requirements 单独一层（利用 Docker 缓存：依赖不变就不重装）
+COPY requirements.txt .
+RUN python -m venv /app/.venv \
+    && /app/.venv/bin/pip install --upgrade pip \
+    && /app/.venv/bin/pip install -r requirements.txt
+
+
+# --- runtime stage: 极简基础镜像 + 仅复制 venv 与代码 ---
+FROM python:3.11-slim AS runtime
+
+ENV PYTHONUNBUFFERED=1 \
+    PYTHONDONTWRITEBYTECODE=1 \
+    PATH="/app/.venv/bin:${PATH}" \
+    PYTHONPATH=/app \
+    # service 模式默认监听
+    API_HOST=0.0.0.0 \
+    API_PORT=8100 \
+    # Docker 模式：单容器内使用进程内 scheduler
+    RUNTIME_MODE=docker
+
+# runtime 只需要 psycopg2 的运行时库 + tzdata（pandas tz aware 需要）
+RUN apt-get update && apt-get install -y --no-install-recommends \
+        libpq5 tzdata curl \
+    && rm -rf /var/lib/apt/lists/*
+
+WORKDIR /app
+
+# 从 builder 复制 venv（已编译好的依赖）
+COPY --from=builder /app/.venv /app/.venv
+
+# 复制应用代码
+COPY app/ ./app/
+COPY bin/ ./bin/
+
+# 默认启动 service 入口（FastAPI + 进程内 scheduler）
+# 也可覆盖为 cli / worker 单跑某个 task：
+#   docker compose run --rm market_sync python -m app.entrypoints.cli sync kline_daily
+EXPOSE 8100
+
+HEALTHCHECK --interval=60s --timeout=5s --start-period=30s --retries=3 \
+    CMD curl -fsS http://localhost:8100/api/health || exit 1
+
+ENTRYPOINT ["/app/bin/service_run.sh"]
@@ -0,0 +1,86 @@
+# docker-compose.yml — 一键起 market_sync 数据同步服务
+#
+# 包含：
+#   - postgres        : PostgreSQL 16（market_data schema 的主库）
+#   - market_sync     : 数据同步 + dashboard + scheduler（单进程）
+#
+# 用法：
+#   docker compose up -d                 # 后台启动
+#   docker compose logs -f market_sync   # 看同步日志
+#   docker compose exec market_sync \
+#       python -m app.entrypoints.cli sync stock_node --type2 2,3
+#
+version: "3.9"
+
+services:
+  postgres:
+    image: postgres:16-alpine
+    restart: unless-stopped
+    environment:
+      POSTGRES_USER: market_sync
+      POSTGRES_PASSWORD: market_sync
+      POSTGRES_DB: market_data
+    ports:
+      - "5432:5432"
+    volumes:
+      - pgdata:/var/lib/postgresql/data
+    healthcheck:
+      test: ["CMD-SHELL", "pg_isready -U market_sync -d market_data"]
+      interval: 10s
+      timeout: 3s
+      retries: 5
+
+  market_sync:
+    build:
+      context: .
+      dockerfile: Dockerfile
+    image: market_sync:latest
+    restart: unless-stopped
+    depends_on:
+      postgres:
+        condition: service_healthy
+    environment:
+      # 运行模式：Docker 模式使用进程内 scheduler
+      RUNTIME_MODE: docker
+      # PG 连接（指向同 compose 的 postgres 服务）
+      PG_HOST: postgres
+      PG_PORT: "5432"
+      PG_USER: market_sync
+      PG_PASSWORD: market_sync
+      PG_DB_NAME: market_data
+      DB_BACKEND: pg
+      # 调度
+      SCHEDULER_TIMEZONE: Asia/Shanghai
+      SCHEDULER_TICK_SECONDS: "5"
+      SCHEDULER_AUTO_SEED: "true"
+      # API
+      API_HOST: 0.0.0.0
+      API_PORT: "8100"
+      # 日志
+      LOG_DIR: /app/logs
+      LOG_LEVEL: INFO
+      # 数据源开关
+      DS_BAOSTOCK_ENABLED: "true"
+      DS_SINA_ENABLED: "true"
+      # 凭证（可放进 .env / secrets 文件，避免明文）
+      MAIRUI_LICENCE: ${MAIRUI_LICENCE:-}
+      XUEQIU_TOKEN: ${XUEQIU_TOKEN:-}
+      # 麦蕊限速（钻石 100 RPS 留 buffer；服务化后保守点）
+      MAIRUI_RPS_LIMIT: "10"
+      # 节假日
+      TRADING_HOLIDAYS: ${TRADING_HOLIDAYS:-}
+    ports:
+      - "8100:8100"
+    volumes:
+      # 持久化日志（任务失败时方便排查）
+      - sync_logs:/app/logs
+    healthcheck:
+      test: ["CMD", "curl", "-fsS", "http://localhost:8100/api/health"]
+      interval: 60s
+      timeout: 5s
+      retries: 3
+      start_period: 30s
+
+volumes:
+  pgdata:
+  sync_logs: