ACL 2025 Oral｜Evaluation Agent：面向视觉生成模型的高效可提示的评估框架

青稞社区主页：https://qingkeai.online/
原文：https://mp.weixin.qq.com/s/JVsrsZORlIA_hg1pUVGLpg

8月9日（周六）上午10点，青稞Talk 第70期，南洋理工大学MMLab博士生田淑琳，将直播分享 ACL 2025 Oral 成果《Evaluation Agent：面向视觉生成模型的高效可提示的评估框架》。

包括：

1、Evaluation Agent 的背景：传统评测方法存在的不足与缺陷，最近智能体以及其应用的兴起给生成式模型带来的启发和机遇。

2、基于“高效可提示”的智能体框架。该智能体框架包含两个阶段：

• 提案阶段：在该阶段，不同分工的智能体根据用户的实际需求去规划评测路径，并提案最符合用户需求的用于采样的评估提示语。
• 执行阶段：框架会自动将所提案的提示语输入给模型作采样并评测。

3、与传统评测框架的对比，性能验证以及应用案例。

论文：Evaluation Agent: Efficient and Promptable Evaluation Framework for Visual Generative Models
链接：https://arxiv.org/abs/2412.09645
代码：https://github.com/Vchitect/Evaluation-Agent

分享嘉宾

田淑琳，南洋理工大学MMLab博士生，导师是刘子纬教授。她的研究方向是多模态智能体及推理。

主题提纲

Evaluation Agent：面向视觉生成模型的高效可提示的评估框架

1、Evaluation Agent 的背景
2、基于“高效可提示”的两阶段智能体框架
3、与传统评测框架的对比和性能验证
4、应用案例及未来研究探讨

直播时间

8月9日10:00 - 11:00