昆仑万维于8月12日重磅开源自研世界模型 Matrix-Game 2.0,成为业内首个支持通用场景实时长序列交互生成的开源方案。

此举填补了DeepMind未开源模型Genie 3留下的技术空白,为具身智能、游戏开发、影视制作及元宇宙领域提供了高开放性的生产力工具。
功能特点
Matrix-Game 2.0的创新在于彻底摒弃语言提示依赖,采用纯视觉驱动的交互建模方案:
物理逻辑深度理解:通过动作指令即可自由操控虚拟环境,角色在台阶、障碍物等复杂地形中展现出符合物理规律的运动轨迹;

高帧率实时交互长序列生成:支持前后左右移动和视角转动,用户可通过指令操控角色在场景中自由行动,系统以 25 FPS 实时生成连续画面,单次交互可生成分钟级别长交互视频,动作自然流畅,响应精准。
跨场景泛化能力:适配从GTA街头飙车到Minecraft方块世界的多样环境,支持城市、荒野等空间类型及油画、写实等视觉风格。

核心技术创新
3D因果VAE压缩引擎:高效压缩时空维度数据,计算复杂度降低90%,支撑实时生成;
多模态扩散Transformer:融合视觉编码与动作指令,逐帧生成物理合理的动态序列;

KV缓存滚动生成:通过键值缓存维护注意力上下文,实现单GPU上无限时长25 FPS生成,突破传统双向模型的时序延迟。

应用场景
游戏开发:实时生成可交互场景,降低人工建模成本70%。

虚拟现实:动态环境实时渲染,提升用户沉浸感,自由探索油画风格虚拟空间。
影视与元宇宙:快速搭建复杂场景,缩短制作周期,分钟级生成电影级动态背景。
GitHub:https://github.com/SkyworkAI/Matrix-Game
#AI开源项目推荐##github##AI技术##AI虚拟世界生成#昆仑万维#