谷歌发布新一代世界模型Genie 4
当地时间10月27日,谷歌宣布推出新一代世界模型Genie 4,可实现高真实感实时交互模拟,并动态生成环境音、音乐和交互式对话。
用户还可以在场景展开过程中输入指令,实时改变天气或添加角色等。谷歌表示,模拟环境最长可运行两分钟,约为上一代Genie 3的两倍。
Genie 4也是该系列首款能够同步生成声音和画面的产品,包括环境声音、音乐,以及能够对用户行为作出反应的对话。
谷歌正以研究预览的形式,向一小批受信任的测试者开放Genie 4。
未来几周,公司计划向付费订阅最高档Google AI Ultra套餐的用户开放,同时也将向部分使用应用开发工具Google AI Studio和Gemini API的开发者提供访问权限。
关于谷歌Genie
截至 2026 年 10 月,Genie 是由 Google DeepMind 研发的基础世界模型,可根据图像或文本提示生成交互式虚拟环境。该模型于 2024 年 2 月首次发布,通过无监督学习互联网视频训练,无需动作标注即可实现可控的视频生成。技术原理
Genie 核心采用 ST-transformer 架构,包含三大组件:
1. 视频分词器:基于 VQ-VAE 将视频帧压缩为离散标记。
2. 潜在动作模型:从原始视频中无监督推断潜在动作。
3. 动力学模型:根据潜在动作和历史帧预测下一帧。
模型参数量约 110 亿,训练数据来自超过 20 万小时的公开游戏视频。
版本发展
- Genie 1(2024 年 2 月):生成 2D 交互环境。
- Genie 2(2024 年 12 月):扩展至 3D 世界,支持 1 分钟交互时长。
- Genie 3(2025 年 8 月):720p 分辨率、24fps 实时交互,新增可提示世界事件功能。
- Project Genie(2026 年 1 月):向 Google AI Ultra 付费订阅用户开放实验性体验。
应用场景
Genie 主要用于以下领域:
- 游戏开发:快速生成关卡原型和沉浸式探索场景。
- 智能体训练:为机器人和自动驾驶提供虚拟训练环境。
- 概念艺术:将草图或概念图转化为可交互虚拟环境。