ToonComposer – 腾讯联合港中文、北大推出的AI动画制作工具

ToonComposer是什么

ToonComposer 是香港中文大学、腾讯 PCG ARC 实验室和北京大学研究人员共同推出的生成式 AI 工具，几秒能将草图转化成专业级动画。ToonComposer基于生成式后关键帧技术，将传统动画制作中的中间帧生成和上色环节整合为自动化过程，仅需一个草图和一个上色参考帧，能生成高质量的动画视频。工具支持稀疏草图注入和区域控制，让艺术家能准控制动画效果，大幅减少人工工作量，提高创作效率，为动画制作带来革命性变革。

ToonComposer的主要功能

• 生成式后关键帧：将动画制作中的中间帧生成和上色环节整合为自动化过程，仅需一个草图和一个上色参考帧，能完整的卡通视频，显著减少人工工作量。
• 精确草图关键帧控制：艺术家通过稀疏的关键帧草图在时间轴的任何位置引导动画，处理复杂动作时能保持高精度和高质量。
• 区域控制：用户能选择性地在草图中留白，用画笔工具标记这些区域，ToonComposer 能智能地根据上下文或提示填充留白区域，进一步减少艺术家的工作量。

ToonComposer的技术原理

• 稀疏草图注入机制：基于位置编码映射将草图帧转换为与模型兼容的标记，注入到视频生成模型的潜空间中，确保草图在生成过程中具有时间感知能力。同时，位置感知残差模块支持用户在推理时动态调整草图的控制强度，实现更灵活的动画生成。
• 卡通适应方法：基于空间低秩适配器（SLRA），仅调整模型的空间行为，不改变其时间行为，将现代视频基础模型适应到卡通领域。确保生成的动画在视觉上符合卡通风格，同时保持流畅的运动效果。
• 区域控制机制：在训练时，随机遮罩应用在草图帧，模型学习在这些遮罩区域生成合理的内容。用户在创作时指定哪些区域需要模型自动生成内容，无需绘制完整的草图，进一步减少工作量并提高创作灵活性。

ToonComposer的项目地址

• 项目官网：https://lg-li.github.io/project/tooncomposer/
• GitHub仓库：https://github.com/TencentARC/ToonComposer
• HuggingFace模型库：https://huggingface.co/TencentARC/ToonComposer
• arXiv技术论文：https://arxiv.org/pdf/2508.10881
• 在线体验Demo：https://huggingface.co/spaces/TencentARC/ToonComposer

ToonComposer的应用场景

• 动画制作：独立动画创作者快速生成动画原型，减少繁琐的中间帧绘制和上色，将精力聚焦于创意和故事叙述。
• 游戏开发：游戏开发者快速生成游戏中的动画资源，如角色动作、场景动画，减少手动制作成本，提升开发效率。
• 教育与培训：在动画教育中作为教学工具，帮助学生快速理解动画制作流程，增强学习兴趣。
• 广告与营销：广告公司快速生成动画广告，满足客户不同需求，在需要快速迭代和修改动画内容时，节省时间和成本。
• 影视制作：在动画电影和电视剧制作中，生成初步动画片段，帮助导演和制作团队快速评估创意和场景效果，减少前期制作成本。