前段时间分享了 AI 画漫画，今天分享一个 AI画动漫。感觉可以串起来了。

可以做几件事情：

• Cartoon Interpolation 卡通动画中间帧

  

  

• Cartoon Sketch Interpolation 卡通素描中间帧****

  

  

• Reference-based Sketch Colorization 基于参考的素描上色

  

  中间的素描动画

  

  最后结果

  

• Sparse Sketch Guidance 疏松素描指导

  

  疏松素描参考：

  

  最后结果

  

体验

在 Huggingface 上可以运行 Demo：https://huggingface.co/spaces/Doubiiu/tooncrafter 输入图片：

输入 Prompt：an anime scene

生成视频：

输入图片：

输入 Prompt：walking man

生成视频：

技术细节

ToonCrafter 概述

给定两个动漫图像 ?^1^ 和 ?^?^，ToonCrafter 利用图像到视频生成扩散模型作为生成器，生成中间帧的潜变量 ?~0~。这些潜变量随后通过提出的细节注入解码器解码到像素空间，并以 ?^1^ 和 ?^?^作为细节指导。可选地，可以通过稀疏素描指导来控制插值。

细节注入 3D 解码器的说明

给定帧潜变量 ? 作为输入，我们通过浅层的交叉注意力注入来自编码器 ℰ 的输入图像 ?^1^ 和 ?^?^的中间特征，同时通过残差学习，即在深层将 1 帧和 L 帧的特征相加。

示例

不同素描指导模式的示例：（顶部）二等分（n=1）和（底部）随机位置。

对比

ToonCrafter 与 AnimeInterp、EISAI、FILM、SEINE 的动漫插值结果的视觉对比。