谷歌Genie 4世界模型发布：支持实时音频与动态场景编辑
Genie 4正式发布，开启世界模型新纪元
周二，Google DeepMind宣布推出最新一代世界模型Genie 4，目前处于研究预览阶段。这款模型能够生成迄今最为逼真的沉浸式虚拟世界，用户不仅可以在模拟进行中输入文字指令来改变场景，还能体验实时生成的音频，包括背景音乐、环境音以及角色互动对话，全方位还原虚拟世界的真实感。
世界模型赛道加速整合
Genie 4的发布正值世界模型行业经历一波整合潮。几个月前，AI视频公司Runway推出了第二代世界模型GWM Worlds 2，支持动态响应和音频生成。与此同时，行业并购案不断：
- AMD以约82亿美元收购Fei-Fei Li创办的World Labs
- 亚马逊正洽谈收购Decart，交易金额约70亿美元
- Rivian收购Third Dimension，将仿真能力纳入自动驾驶测试体系
在这一竞争格局下，Genie 4是谷歌巩固领先地位的重要举措。
相比Genie 3的显著升级
一年前发布的Genie 3作为研究预览版推出，而Genie 4在多项核心能力上实现了大幅提升：
- 画面呈现更加照片级真实
- 新增实时音频生成能力
- 支持自由形式编辑：用户可实时调整天气、相机角度，或添加新的人物与物体
- 场景一致性保持时间延长至两分钟，是前代的两倍
- 物理模拟效果更优，角色行为更趋人性化
Gemini深度协同，赋能机器人仿真
Genie 4与谷歌AI大模型Gemini实现了更深层次的整合。Gemini扮演”导演”角色，负责规划步骤和校验帧画面，而Genie则专注于视觉生成。在一项与Gemini Robotics相关的实验中，Gemini 4 Argon模型将复杂任务拆解为多个步骤，由Genie 4实时进行仿真模拟，展示了在机器人投入实际应用前，通过仿真环境进行测试的巨大潜力。
谷歌研究总监Tejas Kulkarni表示：”未来我们将看到越来越多混合式世界模型的出现——Gemini负责编写代码和文本，Genie则实时吸收并模拟不同抽象层级的现实。”
应用场景广阔，影视创意成新焦点
与其他世界模型一样，Genie 4的商业应用前景涵盖游戏、互动教育和机器人领域。在互动教育方面，一个充满想象力的场景是：用户可以”走进”一幅描绘历史事件的画作，与画中人物交流，深入了解那段历史。
值得注意的是，首批体验者发现了一个潜在的新用途——影视原型制作。谷歌DeepMind工程师Diego Rivas指出：”实时交互在需要保持创作流畅性的领域价值极高，尤其是在创意构思阶段、分镜设计阶段，任何需要快速实现想法的场景。”
此外，谷歌还推出了Veo模型，可从文本、图片或视频提示生成高清短视频并内置同步音频，该工具在影视创作者群体中正日益受欢迎。Rivas补充道，未来用户有望借助多模态大模型Gemini Omni，将这些原型转化为完整的创意素材，尽管这一能力仍需时日才能成熟。
当前局限与后续规划
尽管前景令人期待，但研发团队也坦诚Genie 4仍处于早期阶段。Rivas强调，最终产品的完整体验尚未定型。目前模型仍存在若干不足：长时间运行后场景细节可能出现漂移，音频的准确性以及场景中文字的清晰度也尚未完全解决。
现阶段，Genie 4已向”受信任测试者”开放。未来数周内，Google AI Ultra订阅用户可通过Project Genie平台体验该模型，Gemini API和Google AI Studio的早期合作伙伴也将陆续获得访问权限。
关注微信号：智享开源 ，及时了解更新信息。
公众号：智享开源
还没有任何评论，你来说两句吧！