腾讯ToonCrafter：能制作动画视频的生成 AI-工具盒子

在古早互联网时期，我就很羡慕那些制作 Flash 的大神。那个时候，我就想学习 Flash 动画，所以我在 2002 年的时候学过一段时间的三剑客 Flash 软件，也就是后来被 Adobe 收购的 Adobe Flash。

当时学习 Flash 最让我头疼的事情就是制作笑脸动画，需要一帧一帧地调整，学习这个真的非常累。因为这个原因，我后来放弃了学习 Flash。如果当时学会了 Flash，我现在的 AE 水平绝对会更高一层。今天我要给大家带来的 AI 项目是由腾讯 AI 实验室推出的 ToonCrafter。

说实话，当我看到 ToonCrafter 的时候，我立刻回想起了当年学习 Flash 的场景。如果你问我现在最火的 AI 项目是什么，那肯定是类似 Sora 那样的文本生成视频项目，其次是图像生成视频项目。今天要介绍的项目就是图像生成动画，也算是图像生成视频。

从静止到动态

ToonCrafter 是一种 AI 图生视频技术。以前的动画制作就像我前面说的需要做动画的人一帧一帧地手工绘制，既费时又费力。而 ToonCrafter 则利用先进的 AI 技术，通过你上传的两张卡通图像，自动帮你生成中间的动画帧，实现动漫人物的自然运动。这个技术不仅解决了传统方法在处理复杂运动和遮挡时的不足，还提高了我们制作动画的效率。 ToonCrafter框架概述。给定两张卡通图像 x1 和 xL，ToonCrafter 利用生成扩散模型生成中间帧的潜变量 z0。这些潜变量随后通过细节注入解码器解码为像素空间，x1 和 xL 作为细节指导。插值可以通过稀疏线稿指导来控制。

ToonCrafter 的工作原理

那么，ToonCrafter 是如何实现这一切的呢？它的核心在于生成插帧的算法。简单来说，ToonCrafter 会分析你提供的起始帧和结束帧，然后利用它独特的 3D 解码器和细节注入机制，生成一系列中间帧。这些中间帧不仅运动流畅，而且细节丰富，和原始帧保持高度一致。

为了确保生成动画的细节和一致性，ToonCrafter 还引入了一种双参考的细节注入机制。通过交叉注意力和残差学习，这一机制能够在生成过程中保持原始图像的细节，让动画看起来更加逼真。细节注入3D解码器示意图。

让你的动画充满色彩

更让人惊喜的是，ToonCrafter 不仅能够生成动画，还能为你的线稿自动上色。你只需提供一些参考图像，ToonCrafter 就能学习这些图像的颜色和风格，有点像 Midjourney 里的样式迁移，将你的线稿变成色彩丰富的动画。这个功能尤其适合那些想要快速制作高质量动画的人。

假如，你有一个人物在跑步的线稿，并希望他向左跑动，只需在绘制线稿时标明方向，然后提供几张参考图像，ToonCrafter 就能自动生成符合你期望的动画。这不仅省去了手工上色的麻烦，还能保证动画的视觉一致性。不同类型的线稿指导示例

ToonCrafter 的无限可能

ToonCrafter 的出现，无疑为动画制作带来了跳跃性的变化。无论你是专业做动画的，还是业余爱好者，都能利用这一工具，快速生成动画作品。而且，通过结合线稿插帧和参考图像上色，ToonCrafter 还能为你的创作提供更多的灵活性和创意空间。插帧和上色效果

ToonCrafter 为动漫图生视频带来了全新的可能性。通过它的生成插帧和上色技术，动画制作变得更加简单和高效。无论你是想让自己的卡通人物动起来，还是希望为线稿自动上色，ToonCrafter 都能帮你实现。未来，随着技术的进一步发展，ToonCrafter 有望在更多领域发挥重要作用，带来更多创意和灵感。例如，在学校里，老师可以利用 ToonCrafter 为学生制作出生动的教学动画；在游戏开发中，设计师可以快速生成角色动画，提高开发效率。