你无法看到我

AnimateDiffusion插件生成视频

配置软件

AnimateDiffusion是一款用于StableDiffusion的视频生成插件,要安装这款插件,你需要使用下面的链接,在SdWebUI中安装插件。

https://github.com/continue-revolution/sd-webui-animatediff

在SDWebUI中,选择 【扩展】-> 从网址安装 -> 扩展的Git仓库网址

对硬件的需求为:5~12GB显存,推荐8GB显存。

还需要下载生成视频的配套Lora和运动模型。

https://huggingface.co/conrevo/AnimateDiff-A1111/tree/main

motion_module

从列表中下载 mm_sd15_v3.safetensors ,然后将其放入

你的SDWebUI根目录\extensions\sd-webui-animatediff\model 目录下。

motion_lora

在下载列表的Lora目录下,有一些助于控制画面运动的Lora,使用方法和普通的Lora无异。

更新显卡驱动

使用新的NvidiaAPP程序更新显卡驱动到最新(这个相比原来的GeforceExperience来说,免登录 而且运行速度更快)

https://www.nvidia.cn/software/nvidia-app/

优化选项

需要注意的是,使用之前,在插件设置选项里,选择以上的优化选项 – 非必选项。(前两个是用来优化GIF图片效果的,第三个可以优化显存占用)

然后需要在 优化(Optimizations)选项里,启用  自动补全正反提示词长度 – 推荐使用此配置。

用下面第二个选项也可以,第二个根据描述是更好的方法,启用第二个会覆盖第一个的效果。

生成视频

生成图片参考

在生成视频之前,可以先按照常规的图片生成方法,来获得满意的图片生成风格,和提示词的组合。

需要注意的是,正向提示词和反向提示词,都应该保持精简,尽量不超过75个词(原始上限)。

当我们获取到满意的图片之后,需要将种子值(seed)进行固定,并保持提示词和分辨率(比例)不变。

不过因为AI生成的随机性,即使固定了参数,每次生成的图片也将会有所不同。

启用视频生成

勾选启用AnimeteDiff选项即可启用视频生成,之后需要选择动画模型,动画模型就是配置的时候下载的那个运动模块

其他选项则按照需要进行配置,建议不要将 总帧数 和 FPS 设置的过高,如果设置的太高会导致生成速度非常慢 ,或者无法生成(可能会爆显存)

由于视频生成模型是使用16张图为一组进行训练的,因此,尽量保持 上下文单批数量 为 16 (默认值)。

步幅 和 重叠 选项也保持默认即可(通常情况下默认效果最佳)。

闭环 选项可以控制视频的循环,从N 到 A 对应的是循环的严格程度(N为不循环,A为强制循环)。

帧插值 可以通过插帧算法,提高生成视频的帧速率,可以让视频变的更流畅(直接提高 帧率 也可以,但是相比插帧这会需要更多的时间来计算)

之后只需要和生成图片一样,点击 生成 按钮,等待即可获得一个动态的GIF。

如果生成之后没有自动将图片变成视频,而是生成了一组图片,则需要安装 PyTorch+xFormers 这两个组件(选择最新版本),使用启动器的话,可以在启动器里找到安装选项。

 

留下影子