技术分享
📚Control net
00 分钟
2023-10-18
2024-6-25
type
status
date
slug
summary
tags
category
icon
password
零基础 快速掌握ControlNet 打开AI绘画新大门 AI绘画教程 controlnet插件全面讲解 stable diffusion教程插件_哔哩哔哩_bilibili
controlnet优化模型下载地址 链接:https://pan.quark.cn/s/0d4c25ad4cfd温馨提示1、手机上保存会送1T空间,再去电脑下载2、B站复制网址以后会自动带个空格在尾部,需要把空格删除,否则会显示已删除, 视频播放量 170086、弹幕量 78、点赞数 5689、投硬币枚数 2748、收藏人数 13641、转发人数 1183, 视频作者 Easy硕游戏, 作者简介 个人号 发一些自己感兴趣的东西 不需要关注 我也会靠实力上热门的 ,相关视频:【AI绘画】全面升级!ControlNet1.1 使用教程 更加强大的控制功能!线稿上色/风格迁移/局部修改,ControlNet最新Tile应用实战和商用思路分享 | stable diffusion AI绘画生产力,controlnet插件安装与介绍 ControlNet1.1最新模型 超强插件 零基础学会Stable Diffusion,SD教程·新模型tile太强了!Controlnet又更新,高清生成、细节修复、魔法滤镜 Stable Diffusion,Ai新时代ControlNet,6大全新功能震撼上线|全面解析一网打尽,助你突破瓶颈,轻松地创作!,AI实现角色线稿到3D效果全流程—stable diffusion教程,30分钟零基础掌握ControlNet!绝对是你看过最好懂的控制网原理分析 | 基本操作、插件安装与5大模型应用 · Stable Diffusion教程,卷破天际!Stable Diffusion-不用LORA快速Controlnet草稿变成品效果图,Multi Diffusion + Tiled VAE + ControlNet Tile模型,低显存打造AI绘画超高清6K分辨率体验!SD扩展插件教程,AI绘画线稿可控上色细化教程 ControlNet 1.1-Lineart角色设计快速稳定多方案生成流程stable diffusion绘画教学
零基础 快速掌握ControlNet 打开AI绘画新大门 AI绘画教程 controlnet插件全面讲解 stable diffusion教程插件_哔哩哔哩_bilibili

通用规则

  • 模型选择
    • 选择和预处理器名字相对应的就行。

canny边缘检测

生成线稿用
notion image

预处理器分辨率

分辨率越高越精细,越吃显存
notion image

低门槛

越高,线条越简单,越低,线条越复杂
notion image

高门槛

notion image

对应模型

找名字一样的
notion image

重绘幅度

越高,AI越放飞自我

生成

notion image

HED

与canny类似,可以保留更多的细节,类似手绘
notion image
其他参数和canny一样。
notion image

PiDiNet边缘检测

与canny类似
notion image
这个controlnet模型要选择hed模型
notion image

MiDaS深度信息估算

表示空间距离的
越白的越靠前,越黑的越靠后
一般在风景、可以表示纵深关系的图

LeReS深度信息估算

比MiDaS深度信息估算更加平滑一些
notion image

M-LSD线条检测

用在房间、四四方方的场景比较好
notion image
notion image
notion image

法线贴图

有线条的地方,都用颜色显示
用RGB颜色通道,表示凹凸
notion image

RGB转BGR

notion image

OpenPose姿态检测

notion image
notion image
但是手部有问题
高级应用

OpenPose姿态及手部检测

解决姿态检测手的问题
notion image

风格转移

控制出图风格:应用

色彩

notion image

涂鸦

画布

高度和宽度,默认就可以了

创建空白画布

滚一下,画布就出来了
把画笔调小一点
再添加描述
notion image
notion image
notion image
notion image

伪涂鸦

不用自己画,扔个图片进去,点击生成,就能出涂鸦
notion image

ADE20k语义分割

用颜色把同类项分割开
notion image

二值

就是变成黑白(没有灰)
notion image

反色模式

可以用在这里

无提示词模式

设置——control net——启用基于CFG的引导
notion image
保存——重启UI——打开
官方建议步数50
CFG3~5
删除所有prompt
notion image

如果预处理器和模型不对应会怎么样?

notion image

多通道模式

设置——control net——最大网格数——3
保存——重启UI
notion image
相机的按钮是摄像头
左右箭头,就是相机模式的镜像
蓝色箭头,自动帮你填写分辨率

权重

就是controlnet在整体AI绘画中的强度
notion image

引导介入时机&引导退出时机

notion image
notion image
notion image
notion image
notion image

低显存优化

4G显卡开启

插件

图片转视频,不好用,下一期讲一个好用的

多通道应用、语义分割

https://www.bilibili.com/video/BV1Wg4y1x7Ur/?spm_id_from=888.80997.embed_other.whitelist
  • 时间
    • 通道1和通道2,不能同时引导,只能先引导一个,再引导另一个。
    • 通道1引导结束时机=通道2引导开始时机
OneFormer地址:https://huggingface.co/spaces/shi-labs/OneFormer
notion image
notion image
notion image
notion image
ADE20K颜色表:https://drive.google.com/file/d/1lon9OBkWYFwj_xxh9lGFfkcQaZ0ErFAS/view
notion image
 

control net+图生图,做蒙版、换背景、扩图

https://www.bilibili.com/video/BV1q84y1w7WD/?spm_id_from=888.80997.embed_other.whitelist
  1. 先用control net的MiDas深度信息估算
notion image
  1. 再用图生图——上传蒙版
缩放模式:填充
蒙版模糊:大一点
蒙版模式:重绘非蒙版内容
蒙版蒙住的内容:填充
重绘区域:全图
重绘幅度:大一点
随机种子:-1
notion image

案例:

photography, masterpiece, best quality, 8K, HDR, highres, absurdres:1.2, Kodak portra 400, film grain, blurry background, bokeh:1.2, lens flare, (vibrant color:1.2),gril
nsfw, paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres
notion image
生成4张,有一张可以用
notion image
notion image
notion image

openpose高级应用

暂时无法在飞书文档外展示此内容
15:25
直接一步到位用3D版

安装 3D OpenPose

https://github.com/nonnonstop/sd-webui-3d-open-pose-editor
扩展——从网址安装
notion image
扩展——已安装——打勾——接受并重启UI
notion image

使用

notion image
鼠标左键:旋转
滚轮:放大缩小
右键:移动
  • 改变姿势
单击选中关节,按住坐标球经纬线方向移动即可
notion image
  • 复制
选中人物,shift+D
再按住X,移走即可
notion image
  • 删除
选中人物,del

出图

随机生成一个,
选择出图,发送到文生图或者图生图
notion image
回到出图页面
身体选择open pose,手脚选择depth
notion image
notion image

色彩控制

https://www.bilibili.com/video/BV1Uo4y1z7rC/?spm_id_from=888.80997.embed_other.whitelist
06:48
指定颜色
notion image
notion image

风格转移

https://www.bilibili.com/video/BV1BL41117ka/?spm_id_from=888.80997.embed_other.whitelist
notion image
notion image

control net高级应用

https://www.bilibili.com/video/BV1cL41197ji/?spm_id_from=888.80997.embed_other.whitelist
  • 单通道
    • 三视图,00:53
    • 控制光源,01:11
    • 颜色控制画面:02:02
    • 一键换背景:02:41
    • 咒语初级选手救星:03:05
  • 多通道
    • 精准的图生图控制:03:40,双通道,canny+深度
    • 控制手脚完美生成:04:11
    • 人物与背景分别控制生成:05:00,多通道,open pose控制前景,canny或深度或语义分割控制背景
    • 风格融合:05:30
    • 代替P图:06:00
    • 分块控制:06:33
    • 多人画面更精准分块控制:06:55,Latent Couple(潜变量成对)、composable-lora(可自组lora

潜变量成对、可自组lora

https://www.bilibili.com/video/BV1UX4y1Z741/?spm_id_from=888.80997.embed_other.whitelist
https://www.bilibili.com/video/BV1ek4y1v7Zf/?spm_id_from=333.999.0.0&vd_source=7f66e56383cbc6b10b8be9d2e74a7889

面部检测(Face)SD1.5版本

https://www.bilibili.com/video/BV1GM4y117Dx/?spm_id_from=333.999.0.0
https://www.bilibili.com/video/BV1Cm4y1B7Hn
https://github.com/FacePerceiver/LAION-Face
https://huggingface.co/CrucibleAI/ControlNetMediaPipeFace/tree/main
一键安装包
https://resource.miaoshouai.com/909.html
notion image
 
notion image
微信公众号 - 六六姐的小喇叭
CG交流Q群 - 369748859
游戏群 - 485939898
学习途中的一些随笔,
希望对大家有用
💖😎😉🤣😘💕
 
notion image
 
 
上一篇
CentOs 个人使用记录
下一篇
SDXL 1.0相关资料