▼ 北京大学推出的一款创新的视频风格转换工具------FRESCO,旨在简化和提升视频转视频的处理流程。FRESCO 支持将视频转换为多种不同的风格,并且可以选择性地转换视频中的特定部分。
视频教程
**# 软件功能:**FRESCO 在设计上引入了帧内和帧间对应关系,构建了一个稳定的时空约束机制。这一改进显著提高了视频中跨帧语义内容的连贯性,使得转换后的视频在视觉上更加一致和连贯。该方法不仅增强了注意力机制的作用,还包括特征的显式更新,进一步确保结果视频在时空两个维度上的一致性。
核心特性
-
时空一致性 :通过结合帧内和帧间约束,FRESCO 在连贯性和覆盖范围上相比单独使用光流技术有显著提升。与之前的作品 Rerender-A-Video 相比,FRESCO 使用帧内和帧间约束,比单独使用光流具有更好的一致性和覆盖率。
-
操作简单 :无需训练或微调即可使用,极大简化了操作流程。
-
灵活性 :与现有的模型(如 ControlNet、LoRA)兼容,支持定制化转换,满足不同用户的需求。
FRESCO 的推出为视频风格转换提供了高效便捷的解决方案,不仅适用于科研领域,还为视频制作和编辑提供了强大的工具。
# 配置要求:
建议电脑满足以下配置:
-
操作系统: Windows 10/11 64位
-
显卡 :至少16G****显存的英伟达(NVIDIA)显卡
如何查看显卡品牌型号和显存:
-
打开任务管理器
-
点击"性能"
-
点击"GPU"
-
右上角可以看到显卡型号,下方可以看到显存大小
# 使用教程:
① 打开下载页面(https://aiyy.info/fresco/ )点击页面右侧下载按钮,下载整合包之后解压,建议使用winrar解压(解压软件下载地址:https://www.winrar.com.cn/) 注意:文件夹路径和文件名称不要出现中文字符,否则部分软件会因识别不出而报错
② 双击"一键启动.exe",稍等片刻会在浏览器中自动打开操作界面
③ 上传视频,输入提示词,选择模型,软件默认重绘前100帧,将这个帧数拖至最高值,可重绘300帧,点击"run all"即可开始重绘,
④ 结果会生成在右侧,上方为关键帧画面,下方为完整视频,点击下载按钮即可将视频保存至指定文件夹
⑤ 其他设置保持默认即可,如需要调整,可将网页翻译成中文,方便理解,下方为对应选项功能作用单帧处理的高级选项
-
帧分辨率:将视频短边调整为512。
-
ControlNet相关:
-
ControlNet 强度:输出与输入控制边缘的匹配程度
-
控制类型:HED边缘,Canny边缘,深度图
-
Canny 低/高阈值:低值可获得更多边缘细节
-
-
SDEdit相关:
-
去噪强度:重绘程度(低值使输出看起来更像原始视频)
-
保留颜色:保留原始视频的颜色
-
-
SD相关:
-
步骤:去噪步骤
-
CFG 尺度:输出与提示的匹配程度
-
增加提示/否定提示:补充提示
-
-
FreeU相关:
-
FreeU 第一/第二阶段骨干因子:=1 不执行任何操作;>1 增强输出颜色和细节
-
FreeU 第一/第二阶段跳跃因子:=1 不执行任何操作;<1 增强输出颜色和细节
-
FRESCO 约束的高级选项
-
关键帧相关
-
帧数:需要翻译的帧总数
-
批次中的帧数:为避免内存不足,请使用较小的批次大小
-
最小关键帧间隔(s_min):至少每 s_min 帧检测一次关键帧
-
最大关键帧间隔(s_max):最多每 s_max 帧检测一次关键帧
-
-
FRESCO 约束
-
FRESCO 引导的注意力:
-
FRESCO引导的优化:
-
空间引导注意力:勾选以启用空间引导注意力
-
跨框架注意力:勾选即可启用高效的跨框架注意力
-
时间引导注意力:勾选以启用时间引导注意力
-
空间引导优化:选中以启用空间引导优化
-
时间引导优化:选中以启用时间引导优化
-
-
背景平滑:选中以启用背景平滑(最适合静态背景)
完整视频翻译的高级选项
-
梯度混合:应用泊松混合来减少重影伪影。可能会减慢进程并增加闪烁。
-
并行进程数:多进程加速进程。建议使用较大的值(4)。