标签驱动的可信金融大模型训练全流程-Agentar-Fin-R1工程思路浅尝

Agentar-Fin-R1 的开发pipline可概括为 “数据 → 训练 → 评估 → 归因 → 迭代” 五个闭环阶段，每一阶段都有明确输入、处理逻辑和输出。

一、数据构造

Agentar-Fin-R1 的数据构造围绕 Label System 和 Multi-Agent 可信合成 展开的三级流水线：

1.1 Label System（任务标签体系）

• 两类标签：每个样本被打上 (Scene, Task)
  • Scene：银行、证券、保险、信托、基金等业务场景
  • Task：NER、意图识别、槽位填充、消歧、咨询式问答等任务类型
• 非正交稀疏性：并非所有 Task 都适用于所有 Scene，真实还原金融任务分布。

1.2 三级数据治理

层级	关键动作	目的
Source	权威金融机构/监管文件 → NER/POS → 标准化 → 脱敏/脱毒 → 知识精炼	保证来源可信
Synthesis	双路线合成： ① Task-oriented 知识引导生成**（Query, Thinking, Answer）** ② Self-Evolution 指令进化（多样性、复杂性、正确性三重筛选）	保证逻辑可验证
Verification	多模型一致性投票 + 人工金融专家抽样 + Rating Model 打分 → 去重、去污、去泄露	保证质量可靠

最终输出 Fin-R1-300K 高质量金融推理三元组，作为后续训练的“golden data”。

二、训练框架

2.1 加权训练框架

训练金融大型语言模型（LLMs）需要解决金融任务固有的异质性和复杂性，这些任务在难度和领域特定要求方面各不相同。传统训练方法对所有训练样本一视同仁，没有考虑到某些任务明显比其他任务更具挑战性的事实。因此，模型可能过度拟合更简单、更常见的任务，而在对现实金融决策和风险评估至关重要的复杂任务上表现欠佳。不同任务难度不同，用 pass@k 量化困难度，动态调整样本权重。

• 三步：

  1. 对每个 Task Label 采样一批题目 → 当前模型 & 多个参考模型分别生成 k 条答案
  2. 计算 pass@k，难度越高权重越大；若显著弱于参考模型，再额外加权
  3. 引入 指数平滑 + 下限裁剪 保证训练稳定

• 损失函数：
  SFT：

  

2.2 Two-Stage Pipeline（两阶段递进）

阶段	目标	方法	数据
Stage 1	金融知识注入	大规模 SFT + 加权训练	Fin-R1-300K + 通用推理
Stage 2	难题攻坚	GRPO（强化）+ 针对性 SFT	困难子集 + 错误归因补充数据

优点：Stage1 快速获得“通才 + 金融知识”底座，Stage2 用小而精的数据做“专家提升” ，新业务场景只需 Stage2 轻量微调即可上线。

2.3 Attribution Loop（归因-再训练闭环）

归因循环是一种后训练机制，它通过将错误追溯到特定金融场景和任务来改进模型，并通过动
态资源分配实现有针对性的数据采样和模型增强。Pass@1 归因框架归因循环采用上述二维标签框架对预测错误进行分类，找出性能洼地。这一部分主要看下数据回滚与再生思路：

• 回滚：若本轮 pass@1 下降 → 直接 revert 上一轮数据
• 再生：连续 3 轮下降 → 触发 Self-Evolution Agent，按新的复杂度模板重新生成样本

工程侧：每轮评估后自动写 attribution.json，包含(l, pass@1, Δ, η, π, allocated_samples)训练脚本读取该文件 → 更新数据加载器 → 继续训练，整个循环跑在 32 张 A100 上，约 2 小时完成一轮。

三、评估

为了衡量真实落地能力，论文提出了 Finova（Financial Nova）评测集，覆盖三大维度：

维度	子任务	样本数	评测点
Agent Capabilities	意图识别、槽位识别、工具规划、表达生成	768	对话系统必备能力
Complex Reasoning	金融数学 + 代码理解 + 推理	306	复杂决策链
Safety & Compliance	安全风险识别、监管合规判断	200	高风控场景

结果

Agentar-Fin-R1: Enhancing Financial Intelligence through
Domain Expertise, Training Efficiency, and Advanced
Reasoning,https://arxiv.org/pdf/2507.16802v2

repo:代码暂未开源