中文 · English
中文文档网站 · English documentation
金融多模态数据飞轮与 Agentic RL：从文档采集、治理和训练数据生成，到金融工具 Agent 的 SFT、GRPO 与评测。
项目自动采集财报、研报与相关论文，串接 OCR、文本与图表治理、多模态描述、 可选翻译/改写和独立质量审核，再按目标 tokenizer 生成预训练语料。 PDF、图片、表格和派生文件保存在本地，SQLite 记录任务、版本与来源血缘。
使用说明 · 快速开始 · 每日数据飞轮 · OCR 部署 · 命令参考
- 采集与导入：接入巨潮资讯、上交所、Crossref、OpenAlex，也支持手工提供 PDF。
- OCR 与治理：连接 PaddleOCR，完成文本清洗、元数据处理、分块和质量检查。
- 图片与表格：保存区域图像，共用一张资产表；保留表格 OCR 结构和多模态描述。
- SFT 数据：文档问答、JSON 抽取和表格计算；可选原图问答与表格转 JSON，多模态数据随包保存图片。
- 预训练数据：将原文、图表描述及可选翻译/改写送入独立审核，按目标 tokenizer 分段。
- 生成方法与配比：知识提炼、教材化与事实列表；Self-Instruct、答案反推、Evol-Instruct、CodecLM 证据适配，图像描述及多轮问答；固定/温度配比与 DoReMi、RegMix 本地代理实验。
- 自动运行与追溯：每日增量采集、任务重试、断点恢复、去重、血缘查询及不可变发布。
- 数据质量与覆盖：自动生成 CPT/SFT 统计报告、覆盖缺口与版本差异，见报告指南。
- 跨版本近似去重：SQLite 增量 MinHash 索引、重复关系与可追溯配比过滤，见去重指南。
- 金融 Agent：财报表格检索、读表与 Decimal 计算，参考工具示范、单卡 SFT/GRPO 和冻结评测。
- 应用连接：飞书、Telegram、Discord、Slack 的命令、PDF 导入、图表人工复核和日报；MCP 接口支持外部助手调用。
flowchart LR
source["来源发现 / 本地 PDF"] --> raw["原始 PDF 与来源记录"]
raw --> ocr["OCR"]
ocr --> text["文本治理"]
ocr --> visual["图片 / 表格存储与描述"]
text --> candidate["原文 / 翻译 / 改写候选"]
visual --> candidate
candidate --> review["独立质量审核"]
review --> release["证据包与预训练数据"]
release --> sft["可选：证据问答 / 抽取 / 计算 SFT"]
state["SQLite：任务、版本与血缘"] -.-> raw
state -.-> candidate
state -.-> release
每日飞轮生成训练数据文件；目标模型训练由下游训练程序执行。SFT 可独立运行或作为每日流程的可选阶段，默认关闭。 DoReMi/RegMix 是另外显式启动的小型代理训练实验，用于学习配比，不随每日任务自动运行。
可选启用每日训练版本发布：统一 .env 配置，自动汇总、近似去重、配比、版本校验及发布；SQLite 记录阶段恢复和血缘，失败保留上一版 latest，生成按日 JSON/Markdown 报告。
可选小模型精炼插件：默认关闭，支持仅记录/实际应用、独立重写开关和自选模型；作为附加 CPT 分支保留原始证据、操作血缘与日报。
需要 Python 3.10 或以上。macOS / Linux 在项目根目录执行：
python3 -m venv .venv
. .venv/bin/activate
python -m pip install -e .
# 仅首次创建本机配置；已有 .env 时补充字段
cp -n .env.example .envWindows 安装方式见运行前检查。
按飞轮运行说明填写 OCR、视觉/审核模型和目标 tokenizer，
来源训练准入等日常参数可用同一个 .env 中的 FIN_DOC_FLYWHEEL_POLICY 覆盖默认配方。
默认生成原文和图表描述；翻译、改写需另行启用并配置模型。
# 只检查配置与本地依赖，不请求网络服务
python -m workflow.flywheel_cli preflight
# 配置通过后，执行一次完整流程
python -m workflow.flywheel_cli run
# 查看任务状态
python -m workflow.flywheel_cli status每日调度使用仓库提供的 cron / launchd 模板，安装步骤见定时运行。
python -m workflow.cli list按输入状态选择本地 PDF、已采集财报或已有 OCR 路径，见本地运行与运维手册。
| 你要做的事 | 文档 |
|---|---|
| 找到合适入口、了解阅读顺序 | 文档首页 |
| 配置模型、运行飞轮、处理待复核记录、追查血缘 | 每日数据飞轮 |
| 从聊天软件操作，或连接 OpenClaw / Hermes | 应用连接与 MCP · Telegram · Discord · Slack |
| 单独发现来源或下载 PDF | 数据来源与采集 |
| 手工处理财报、了解目录和交付内容 | 财报处理与交付 |
| 调整清洗规则、切片与 LLM 治理 | 清洗与治理 |
| 从 v7 证据生成文本或多模态 SFT | 文本 SFT · 图表多模态 SFT |
| 金融工具 Agent：任务构建、SFT、GRPO 与评测 | Agentic RL 运行指南 |
| 扩展生成方法、调整数据比例或学习配比 | 方法库 · 数据配比 · DoReMi / RegMix |
| 从已有 v5/v6 发布包构建语料 | 已有发布包生成预训练语料 |
| 部署或连接 OCR 服务 | PaddleOCR 部署与连接 |
| 查看日志、备份、恢复和排错 | 日志说明 · 运维手册 |
| 查询参数与环境变量 | 命令参考 · 配置模板 |
| 给使用说明新增页面或图片 | 文档与图片写作指南 |
python -m pip install -e '.[dev]'
python -m pytest -q
python -m ruff check .架构说明见数据飞轮和Agentic RL。