51工具盒子

依楼听风雨
笑看云卷云舒,淡观潮起潮落

FRESCO:视频一键重绘,支持将视频转换为多种不同的风格,操作简单,整合包一键启动

北京大学推出的一款创新的视频风格转换工具------FRESCO,旨在简化和提升视频转视频的处理流程。FRESCO 支持将视频转换为多种不同的风格,并且可以选择性地转换视频中的特定部分。

视频教程

**# 软件功能:**FRESCO 在设计上引入了帧内和帧间对应关系,构建了一个稳定的时空约束机制。这一改进显著提高了视频中跨帧语义内容的连贯性,使得转换后的视频在视觉上更加一致和连贯。该方法不仅增强了注意力机制的作用,还包括特征的显式更新,进一步确保结果视频在时空两个维度上的一致性。

核心特性

  • 时空一致性 :通过结合帧内和帧间约束,FRESCO 在连贯性和覆盖范围上相比单独使用光流技术有显著提升。与之前的作品 Rerender-A-Video 相比,FRESCO 使用帧内和帧间约束,比单独使用光流具有更好的一致性和覆盖率。

  • 操作简单 :无需训练或微调即可使用,极大简化了操作流程。

  • 灵活性 :与现有的模型(如 ControlNet、LoRA)兼容,支持定制化转换,满足不同用户的需求。

FRESCO 的推出为视频风格转换提供了高效便捷的解决方案,不仅适用于科研领域,还为视频制作和编辑提供了强大的工具。


# 配置要求:

建议电脑满足以下配置:

  • 操作系统: Windows 10/11 64位

  • 显卡 :至少16G****显存的英伟达(NVIDIA)显卡

如何查看显卡品牌型号和显存:

  • 打开任务管理器

  • 点击"性能"

  • 点击"GPU"

  • 右上角可以看到显卡型号,下方可以看到显存大小

# 使用教程:

① 打开下载页面(https://aiyy.info/fresco/ )点击页面右侧下载按钮,下载整合包之后解压,建议使用winrar解压(解压软件下载地址:https://www.winrar.com.cn/) 注意:文件夹路径和文件名称不要出现中文字符,否则部分软件会因识别不出而报错

② 双击"一键启动.exe",稍等片刻会在浏览器中自动打开操作界面

③ 上传视频,输入提示词,选择模型,软件默认重绘前100帧,将这个帧数拖至最高值,可重绘300帧,点击"run all"即可开始重绘,

④ 结果会生成在右侧,上方为关键帧画面,下方为完整视频,点击下载按钮即可将视频保存至指定文件夹

⑤ 其他设置保持默认即可,如需要调整,可将网页翻译成中文,方便理解,下方为对应选项功能作用单帧处理的高级选项

  1. 帧分辨率:将视频短边调整为512。

  2. ControlNet相关:

    • ControlNet 强度:输出与输入控制边缘的匹配程度

    • 控制类型:HED边缘,Canny边缘,深度图

    • Canny 低/高阈值:低值可获得更多边缘细节

  3. SDEdit相关:

    • 去噪强度:重绘程度(低值使输出看起来更像原始视频)

    • 保留颜色:保留原始视频的颜色

  4. SD相关:

    • 步骤:去噪步骤

    • CFG 尺度:输出与提示的匹配程度

    • 增加提示/否定提示:补充提示

  5. FreeU相关:

    • FreeU 第一/第二阶段骨干因子:=1 不执行任何操作;>1 增强输出颜色和细节

    • FreeU 第一/第二阶段跳跃因子:=1 不执行任何操作;<1 增强输出颜色和细节

FRESCO 约束的高级选项

  1. 关键帧相关

    • 帧数:需要翻译的帧总数

    • 批次中的帧数:为避免内存不足,请使用较小的批次大小

    • 最小关键帧间隔(s_min):至少每 s_min 帧检测一次关键帧

    • 最大关键帧间隔(s_max):最多每 s_max 帧检测一次关键帧

  2. FRESCO 约束

    • FRESCO 引导的注意力:

    • FRESCO引导的优化:

    • 空间引导注意力:勾选以启用空间引导注意力

    • 跨框架注意力:勾选即可启用高效的跨框架注意力

    • 时间引导注意力:勾选以启用时间引导注意力

    • 空间引导优化:选中以启用空间引导优化

    • 时间引导优化:选中以启用时间引导优化

  3. 背景平滑:选中以启用背景平滑(最适合静态背景)

完整视频翻译的高级选项

  1. 梯度混合:应用泊松混合来减少重影伪影。可能会减慢进程并增加闪烁。

  2. 并行进程数:多进程加速进程。建议使用较大的值(4)。

赞(2)
未经允许不得转载:工具盒子 » FRESCO:视频一键重绘,支持将视频转换为多种不同的风格,操作简单,整合包一键启动