智东西
智东西8月6日消息，昨夜，谷歌DeepMind宣布推出通用世界模型Genie 3，首个可实时交互世界模型来了。
基于文本提示，Genie 3可以允许用户以每秒24帧的速度，以720p的分辨率生成长达数分钟的交互式3D环境，Genie 2仅能生成10到20秒。
去年年底，谷歌DeepMind发布能生成各种可控制动作、可玩3D环境的大型基础世界模型Genie 2，此次发布的Genie 3，是其第一个允许实时交互的世界模型，在一致性和真实感方面相较前代有提升。如下面的示例中，Genie 3生成内容的机器人本体、周围环境质感更佳：
博客文章中，谷歌DeepMind放出了数十个Genie 3的生成案例，展示其在模拟世界物理特性、模拟自然世界、生成动画和小说建模、超越地理时间限制生成内容的能力。此外，研究人员还将其应用到具身Agent研究，如指示Agent向Genie 3发送导航操作，实现在花园里靠近软管的任务：
谷歌DeepMind Genie 3与Genie 2、由神经模型驱动的游戏引擎GameNGen、视频生成模型Veo对比，最突出的特点是其生成时长翻倍增长：
此次，谷歌DeepMind宣布以有限研究预览版的形式发布Genie 3，为一小部分学者和创作者提供早期使用机会。在博客的致谢部分，还出现了被谷歌挖来的OpenAI视频生成工具Sora的联合负责人之一蒂姆·布鲁克斯（Tim Brooks）。
网友在谷歌DeepMind的X评论区疯狂开启夸夸夸模式，有网友将其的重要性与ChatGPT、Sora发布对标：
还有网友认为这是3A游戏大作的未来，还能在VR、电视互动节目中有很大应用场景：
一位Reddit上的开发者认为Genie 3的发布，意味着理论上而言“只要有足够的计算能力和实时数据……就可以让整个世界变得可玩”。
本文动图均只截取了Genie 3生成内容的部分片段，完整案例演示请查看原博客：
博客链接：https://deepmind.google/discover/blog/genie-3-a-new-frontier-for-world-models/?utm_source=x&utm_medium=social&utm_campaign=genie3
一、模拟真实世界物理特性、动植物逼真，动画小说建模画面自然此前世界模型在很大程度上局限于建模狭窄的领域。Genie 1引入了一种生成各种2D世界的方法，Genie 2进一步在通用性上取得进展，可以生成种类繁多的丰富3D世界，现在Genie 3不仅在生成3D世界的真实性、一致性上取得进展，还引入了实时互动能力。
以下是Genie 3生成的实时互动内容：
1、模拟世界的物理特性：复杂环境没有失真
下面的案例中，3D世界在表现水蔓延到马路上、海平面、灯光映照在水面的光影变化等都没有失真。
2、模拟自然世界：动植物表现逼真
Genie 3可以创建从动物到植物等各种复杂且充满活力的生态系统，如下面演示的庭院、湖泊、海底世界等。
3、动画和小说建模：动画人物活灵活现
Genie 3还能创建动画场景以及动画人物，动画人物的色彩、形象都符合整体环境。
4、突破时空界限：探索未知地点和过去时刻
Genie 3创建的内容可以超越地理和时间界限，探索未知的地方或者过去的时代，如下面的翼装飞行、山地骑车等场景。
除了导航输入之外，Genie 3还支持基于文本的交互形式，谷歌DeepMind的博客将其称为可提示的世界事件。也就是说，其可以改变已经生成的世界，如改变当前世界的天气条件、引入新物体等。
这种能力还扩展了模型对反事实或假设场景的学习，Agent可以从经验中学习这些场景来处理意外情况。
如下面的演示中，在给定的“草原”场景中，案例演示可以看到棕熊、绿色拖拉机、骑马的人分别进入画面。
此外，为了测试Genie 3创建的世界与未来Agent训练的兼容性，研究人员为用于3D虚拟场景的通用Agent SIMA生成了世界。
在每个世界中，其都指示Agent完成不同任务，并通过向Genie 3发送导航操作来实现这些目标。与其他环境一样，Genie 3并不知道代理的目标，而是根据代理的操作来模拟未来。
下面的“面包店”场景中，演示出分别给出了走进搅拌机、前往冷却架、走到玻璃柜前的任务：
在给定的“市场”环境中，案例分别演示了走进花摊、去面包师那里等任务：
在具身Agent的研究领域，研究人员就可以选择一个世界设定，然后选择希望Agent实现的目标并观察它如何实现目标。
基于Genie 3在保持一致性方面的优势，现在其可以执行更长的操作序列，从而实现更复杂的目标。
三、环境几分钟内可保持一致，Genie 3仍有五大局限性Genie 3通过记忆已生成的内容并进行长期推理，自学世界中的物体如何移动、下落和互动。该模型是自回归的，这意味着它一次只生成一帧，其必须回顾之前生成的内容，才能决定下一步要做什么。这是该架构的关键部分。
为了实现Genie 3生成内容高度可控且能实时交互，在每一帧的自回归生成过程中，模型必须考虑先前生成的轨迹。例如，如果用户在一分钟后再次访问某个位置，模型必须参考一分钟前的相关信息。
同时为了实现实时交互性，这种计算必须每秒进行多次，以响应新的用户输入。
想要使AI生成的世界具有沉浸感，生成内容必须在很长一段时间内保持物理一致性。然而，自回归生成环境通常比生成完整视频更难，因为误差往往会随着时间的推移而累积。
Genie 3的环境在几分钟内仍能保持基本一致，视觉记忆可以追溯到一分钟前。如下图所示的“建筑物左侧的树木”，在互动过程中始终保持一致：
其博客提到，Genie 3的一致性是一项新兴能力。NeRF和高斯分布等方法在实现一致的可导航3D环境同时，需要依赖于提供明确的3D表示，相比之下，Genie 3生成的世界是根据世界描述和用户操作逐帧创建的，因此生成内容更为丰富、真实。
Genie 3通过记忆已生成的内容并进行长期推理，自学世界中的物体如何移动、下落和互动。该模型是自回归的，这意味着它一次只生成一帧，其必须回顾之前生成的内容，才能决定下一步要做什么。这是该架构的关键部分。
谷歌DeepMind的博客中也提到了Genie 3目前的局限性：
行动空间有限：尽管可触发的世界事件允许进行广泛的环境干预，但它们不一定由Agent本身执行，Agent可直接执行的操作范围目前受到限制；
与其他Agent的交互和模拟：准确建模共享环境中多个独立Agent之间的复杂交互仍然是一个持续的研究挑战；
准确表示真实世界的位置：Genie 3目前无法以完美的地理精度模拟真实世界的位置；
文本渲染：通常只有在输入世界描述中提供时才会生成清晰易读的文本；
交互时长有限：该模型目前支持几分钟的持续交互，无法支持长达数小时的交互。
在此基础上，谷歌DeepMind宣布Genie 3以有限研究预览版的形式发布，使其能够从其他学者处收集重要的反馈和提供跨学科视角。
结语：谷歌DeepMind深耕模拟环境研究，或加速AI Agent训练此前十多年来，谷歌DeepMind一直致力于模拟环境领域的开创性研究，从训练Agent掌握实时战略游戏， 到开发用于开放式学习和机器人技术的模拟环境，再到开发世界模型。
去年，其推出Genie 1和Genie 2两大基础世界模型，可以为Agent生成新的环境，并发布视频生成模型Veo 2和Veo 3。
可以看出，这些AI系统能够利用自身对世界的理解来模拟世界的各个方面，使Agent能够预测环境将如何演变以及其行为将如何影响环境。谷歌DeepMind的博客提到，世界模型是迈向通用人工智能（AGI）的关键基石，因为它们使得在丰富多样的模拟环境中训练AI Agent成为可能。
从目前的应用场景来看，Genie 3或许可以为机器人和自主系统等提供训练空间并评估其表现。未来，这项技术或许能在我们迈向AGI的过程中发挥关键作用。
科元网提示：文章来自网络，不代表本站观点。
