当前位置: 首页 > news >正文

企业电子商务网站建设规划报告培训机构哪家最好

企业电子商务网站建设规划报告,培训机构哪家最好,网站建设先做前台还是后台,色轮 网站MLLM之Bench:LEGO-Puzzles的简介、安装和使用方法、案例应用之详细攻略 目录 LEGO-Puzzles的简介 1、LEGO-Puzzles的特点 LEGO-Puzzles的安装和使用方法 1、安装 步骤 0:安装 VLMEvalKit 步骤 1:设置 API 密钥(可选&#xf…

MLLM之Bench:LEGO-Puzzles的简介、安装和使用方法、案例应用之详细攻略

目录

LEGO-Puzzles的简介

1、LEGO-Puzzles的特点

LEGO-Puzzles的安装和使用方法

1、安装

步骤 0:安装 VLMEvalKit

步骤 1:设置 API 密钥(可选)

步骤 2:在 LEGO-Puzzles 上运行评估

推理 + 评估:

仅推理:

多 GPU 加速(可选):

LEGO-Puzzles的案例应用


LEGO-Puzzles简介

2025年4月,LEGO-Puzzles是一个用于评估多模态大型语言模型 (MLLM) 多步空间推理能力的基准测试。

LEGO-Puzzles 基准测试旨在系统地评估多模态大型语言模型 (MLLM) 的多步空间推理能力。它以乐高积木搭建为灵感,将空间理解定义为一系列乐高积木组装任务,这些任务需要模型同时具备视觉感知和顺序推理能力。 该基准测试包含三种核心任务类型:空间理解、单步顺序推理和多步顺序推理。 除了传统的视觉问答 (VQA) 任务外,LEGO-Puzzles 还包含图像生成任务,评估 MLLM 是否能够模拟结构转换并预测未来的组装状态。为了方便人类与模型进行比较,LEGO-Puzzles 还提供了一个精简的子集 LEGO-Puzzles-Lite,以及一个名为 Next-k-Step 的细粒度评估套件,用于测试在日益复杂的条件下推理的可扩展性。

总而言之,LEGO-Puzzles 提供了一个基于乐高积木的基准测试,用于评估 MLLM 的多步空间推理能力,其结果表明当前的 MLLM 在此方面仍有很大的提升空间。 该基准测试易于使用,并与 VLMEvalKit 框架集成,方便研究者进行模型评估。

GitHub地址:https://github.com/Tangkexian/LEGO-Puzzles

1、LEGO-Puzzles特点

● 基于乐高积木:使用乐高积木搭建场景作为测试对象,直观易懂,便于理解和解释结果。

● 多任务类型:包含空间理解、单步顺序推理和多步顺序推理三种核心任务类型,以及图像生成任务,全面评估空间推理能力。

● 可扩展性:通过 Next-k-Step 评估套件,可以测试模型在不同步数下的推理能力。

● 可解释性:任务设计清晰,结果易于解释,方便分析模型的优缺点。

● 包含图像生成任务:不仅评估问答能力,还评估模型生成图像的能力,更全面地考察空间推理能力。

● 提供精简数据集:LEGO-Puzzles-Lite 方便进行人机性能比较。

LEGO-Puzzles安装和使用方法

LEGO-Puzzles 已完全集成到 VLMEvalKit 框架中。

1、安装

安装和使用方法如下:

步骤 0:安装 VLMEvalKit

git clone https://github.com/open-compass/VLMEvalKit.gitcd VLMEvalKitpip install -e .

步骤 1:设置 API 密钥(可选)

如果要评估基于 API 的模型(例如 GPT-4o、Gemini-Pro-V 等)或使用 LLM 作为评判模型,需要在 .env 文件中配置必要的密钥,或者将其导出为环境变量:

# Example .env (place it in VLMEvalKit root directory)OPENAI_API_KEY=your-openai-keyGOOGLE_API_KEY=your-google-api-key# ...other optional keys

如果没有提供密钥,VLMEvalKit 将默认使用精确匹配评分(仅适用于 Yes/No 或多项选择任务)。

步骤 2:在 LEGO-Puzzles 上运行评估

将数据集名称设置为 LEGO 即可运行 LEGO-Puzzles:

推理 + 评估

python run.py --data LEGO --model <your_model_name> --verbose# Example:# python run.py --data LEGO --model idefics_80b_instruct --verbose

仅推理

python run.py --data LEGO --model <your_model_name> --verbose --mode infer# Example:# python run.py --data LEGO --model idefics_80b_instruct --verbose --mode infer

多 GPU 加速(可选)

torchrun --nproc-per-node=4 run.py --data LEGO --model <your_model_name> --verbose# Example:# torchrun --nproc-per-node=4 run.py --data LEGO --model idefics_80b_instruct --verbose

LEGO-Puzzles案例应用

论文评估了 20 个最先进的 MLLM,包括开源和专有模型。结果表明,尽管 GPT-4o 和 Gemini-2.0-Flash 的整体性能领先,但在需要 3D 空间对齐、旋转处理和多步组装跟踪的任务中,它们的性能仍然远低于人类注释者。 在 LEGO-Puzzles-Lite (220 个样本) 上的人类与模型性能比较中,人类始终以较大优势胜出,再次证实了当前 AI 系统在空间推理方面面临的挑战。 在 5 个基于乐高的图像生成任务中,只有 Gemini-2.0-Flash 和 GPT-4o 表现出部分成功,开源模型通常无法生成结构有效或与指令对齐的图像。 Next-k-Step 评估结果表明,思维链 (CoT) 提示并不能有效地增强多步空间推理能力。

http://www.dtcms.com/a/480877.html

相关文章:

  • 防城港网站设计公司加油站网站大全
  • 文山住房和城乡建设局网站家纺网站设计
  • 建立购物网站的目的万盛集团网站建设
  • 微网站菜单商城网站开发技术有哪些
  • 免费空间做自己的网站网站开发技术指标与参数
  • 深圳网站建设制作企业网络公司是干什么的
  • 网站备案安全责任书是谁盖章园林景观设计公司点评的网站和论坛
  • 免费一级域名注册网站内网 wordpress慢
  • 最好的手机网站建设sirna在线设计网站
  • 网站统计cnzz网站推广通常是从网站建设及运营
  • wp在本地做的网站 上传长沙模板建站定制
  • 云主机安装网站公司装修费用账务处理
  • 可以找酒店案例的网站深圳网站设计灵点网络口碑好
  • wordpress新站SEO优化网站建设总结心得
  • 邯郸专业网站建设报价云服务器多少钱一台
  • 海商网英文网站线上推广有哪些方式
  • 怎么做自己的导航网站安平县哪个做网站的好
  • 江苏城乡建设部网站首页wordpress高校主题
  • 南通建设局网站查询章丘网络推广公司
  • 手机购物网站源码用jsp做一网站的流程图
  • 一般网站做响应式吗有网址 有空间怎么做网站
  • 上海网站建设包括哪些天元建设集团有限公司商业承兑汇票拒付最新消息
  • 亮数据|智能IDE与爬虫MCP实战【打造AI网络抓取神器,轻松获取实时数据!】
  • 网站搜索出来有图片事件网站推广
  • 教育网站建设多少钱知乎推广公司
  • 长沙百度地图网站诊断分析报告模板及优化执行方案.doc
  • 黔东南企业网站建设wap免费网站
  • 呼和浩特做网站的公司有哪些如何做商城网站
  • 无障碍网站建设营销型网站建设集装箱液袋
  • 淘宝客网站跳转单品在网上做游戏网站违法吗