当前位置: 首页 > news >正文

【EGSR2025】材质+扩散模型+神经网络相关论文整理随笔(三)

VideoMat: Extracting PBR Materials from Video Diffusion Models
给定一个3D模型和一段文本指令(也可以是一张图像),该方法能通过微调的视频扩散模型(video diffusion models)生成高质量的PBR材质,从而在不同光照下进行渲染,见下图:
这篇文章先将几何和光照条件输入到视频扩散模型中,得到同一个3D模型的不同视角的图像(video形式),这些图像被赋予了与输入指令匹配的材质。然后采用一个模型从生成的video中去提取本征属性,包括base color, roughness, metallic。最后,将这些本征属性和生成的video一起输入可微的路径追踪器,从而提取出可以兼容常见内容创作工具的PBR材质。
下图展示了整个工作流的overview:
我们根据这个图介绍一些细节。首先,该方法中包含了两个video model。第一个video model的作用是,输入目标物体的法线video、shading video(包含diffuse,半specular,全specular三种情况,光照假设已知,这里的diffuse和specular是指Cook-Torrance着色时的diffuse和specular两部分)和代表材质信息的相关指令,输出被赋予材质后的物体多个视角下的生成结果。然后,再把生成的video输入到第二个video model中进行本征分解,然后生成材质属性的G-buffers(base color、roughness、metallic) video。最后将第一个模型生成的video和第二个模型生成的video以及已知的3D几何和HDR环境光贴图输入到可微的路径追踪器中进行多视角重建,从而提取出高质量的PBR材质来。
这篇文章的流程跟MAPA、DreamMAT有点像,但是具体细节不相同,感兴趣的读者可以去看看。
http://www.dtcms.com/a/272243.html

相关文章:

  • 华为昇腾NPU与NVIDIA CUDA生态兼容层开发实录:手写算子自动转换工具链(AST级代码迁移方案)
  • 缓存穿透与击穿多方案对比与实践指南
  • 设计模式的六大设计原则
  • AI问答之手机相机专业拍照模式的主要几个参数解释
  • 【笔记】使用 html 创建网址快捷方式
  • 达梦数据库DMDRS搭建单向dm8-dm8数据同步
  • 【工具教程】批量提取OCR图片中固定文字保存WPS表格,批量OCR识别图像中的文字保存到Excel表格的操作步骤和注意事项
  • 虚拟环境已安装该包,且已激活,但报错
  • 智能体的记忆系统:短期记忆、长期记忆与知识图谱
  • Spring for Apache Pulsar->Reactive Support->Quick Tour
  • 【LeetCode100】--- 1.两数之和【复习回滚】
  • 氢能源杂谈
  • 深入拆解Spring核心思想之一:IoC
  • 天津医大用网络药理学+分子对接发表中科院二区IF5
  • 【Python】基于Python提取图片验证码
  • SYM32第二十天 ESP8266-01S和电脑实现串口通信(3)
  • 羊肚菌自动采收车设计cad【7张】+三维图+设计说明书
  • 电脑息屏工具,一键黑屏超方便
  • 双esp8266-01之间UDP透传传输,自定义协议
  • LlamaFactory Demo
  • 使用langchain连接llama.cpp部署的本地deepseek大模型开发简单的LLM应用
  • CTFHub————Web{信息泄露[备份文件下载(vim缓存、.DS_Store)]}
  • turbopack打包机制
  • SQL的初步学习(一)(以MySQL为例)
  • 重置 Rust 工具链​
  • 缺乏项目进度对比历史数据,如何建立进度基线
  • 深度学习_全连接神经网络
  • UE5多人MOBA+GAS 17、制作小兵的动画蓝图、攻击GA以及死亡和复活的AI感知开关
  • Ajax之核心语法详解
  • Vue Vue-route (4)