颠覆3D生成,李飞飞团队新研究实现3D场景「无限探索」,AI构建世界模型能力跨越式进化
斯坦福大学教授李飞飞参与创立的公司 World Labs 今日发布了一款空间智能模型 Marble,并开放了限量测试预览版 。
该模型的核心功能是基于单张图片或文本提示,生成可供用户自由探索的持久性 3D 世界 。据李飞飞介绍,模型生成的 3D 世界具备持久性,允许用户在其中自由导航,这一点与部分现有模型有所区别。
目前,用户可以通过申请加入白名单的方式,获取 Marble 预览版的访问权限 。
World Labs 发布的官方技术博客对模型的能力进行了更详细的阐述:
试用地址: marble.worldlabs.ai
白名单申请: https://www.worldlabs.ai/waitlist
博客原文: https://www.worldlabs.ai/blog/bigger-better-worlds
点击阅读原文,获取更多优质前沿资源
1. 生成可持久导航的 3D 世界
Marble 模型可以根据用户的图像或文本输入,生成一个无时间限制、无视觉形变且具备内部一致性的 3D 世界 。与此前版本相比,新模型在生成世界的规模、风格多样性及几何结构质量上均有所提升 。
用户不仅可以在浏览器中自由浏览生成的 3D 世界,还可以将世界导出为高斯点云(Gaussian Splats)格式,用于下游项目开发 。结合开源渲染库 Spark,这些高斯点云可以被集成到 Three.js 框架中,以支持在桌面、移动设备和 VR 头显上构建高性能的 Web 3D 应用 。
2. 更优化的几何结构
模型生成的 3D 场景具备较高的几何复杂度,支持用户进行自由视角的导航,并能探索输入视角之外的区域(例如物体背后或更远处的场景)。
需要注意的是,当前模型的设计重点是创建 3D 环境,而非生成以人物或动物为中心的单个主体 。
3. 多样化的风格支持
该模型能够处理多种艺术风格的输入图像,包括平面卡通风格和写实风格,并将其转换为相应的 3D 世界,为创作者提供了丰富的风格选择 。
4. 宏大场景的构建能力
得益于模型在风格和几何上的一致性,用户可以将多个独立生成的 3D 空间进行拼接,从而构建出超出单个生成范围的、更宏大的虚拟环境 。
关注下方《AI前沿速递》🚀🚀🚀
各种重磅干货,第一时间送达
码字不易,欢迎大家点赞评论收藏