MirageLSD – Decart AI推出的实时视频生成模型

MirageLSD是什么

MirageLSD 是 Decart AI 团队推出的全球首个 Live-Stream Diffusion（实时流扩散）AI 视频模型，能实现无限时长的实时视频生成，延迟低至 40 毫秒以内，支持 24 帧/秒的流畅输出。通过 Diffusion Forcing 技术和历史增强训练，解决了传统自回归模型在长时间生成中的误差累积问题，实现了视频的无限生成。基于Hopper 优化的 Mega Kernels、架构感知剪枝和 Shortcut Distillation 等技术，MirageLSD 在保持高画质的同时，大幅提升了生成速度，实现了真正的实时交互。

MirageLSD的主要功能

• 无限时长实时视频生成：MirageLSD 能生成无限时长的视频流，延迟低至 40 毫秒以内，支持 24 帧/秒的实时生成速度，解决了传统视频生成模型在长时间生成中的误差累积问题。
• 实时交互性：用户可以在视频生成过程中实时进行提示、转换和编辑，实现连续的交互式体验。
• 低延迟处理：模型通过优化技术，如 Hopper 优化的 Mega Kernels 和架构感知剪枝，实现了 40 毫秒的超低延迟处理，支持实时视频生成。
• 广泛的应用场景：可用于直播、视频通话、游戏开发、动画制作等多个领域，能将普通场景实时转换为用户指定的风格或场景。

MirageLSD的技术原理

• Diffusion Forcing 技术：通过逐帧去噪，允许模型在没有完整视频上下文的情况下生成单帧图像，从而实现帧级生成。
• 历史增强训练：在训练时引入历史帧的噪声数据，使模型能够预测并纠正输入中的误差，从而实现无限生成。
• 优化策略：
  • Hopper 优化的 Mega Kernels：针对 NVIDIA Hopper GPU 架构优化，减少每层模型延迟。
  • 架构感知剪枝：通过调整模型参数大小以适应 GPU 架构，减少计算量。
  • Shortcut Distillation：通过训练更小的模型来匹配大模型的去噪轨迹，减少生成所需的扩散步骤。

MirageLSD的项目地址

• 技术论文：https://about.decart.ai/publications/mirage

MirageLSD的应用场景

• 直播与视频通话：将普通视频通话或直播内容实时转换为用户指定的场景，如将现实场景变为科幻世界。
• 游戏开发：能实时将游戏画面转换为不同的视觉风格，如将普通战斗场景变为光剑对决。
• 动画制作与虚拟换装：为动画制作和虚拟换装提供实时的视觉效果支持。