controlnet1.1模型和预处理器功能详解（各预处理器出稿对比及对应模型说明）

ControlNet 1.1 与 ControlNet 1.0 具有完全相同的体系结构,ControlNet 1.1 包括所有以前的模型，具有改进的稳健性和结果质量，且增加并细化了多个模型。

命名规范

项目名+版本号+标识+基础模型版本+功能名+文件后缀名

• control
  官方总是以control为项目名，还有类似coadapter、ti2adapter等

• v11
  该controlnet版本号，v11意味着1.1版本

• p
  标识：p：正式产品；e：测试版; u：未完成版； f修复版；

• sd15
  将stable diffusion 1.5版作为基础模型进行训练

• canny
  该模型功能，比如canny是边缘检测模型

• pth
  文件名后缀，有pth、safetensors等，一般还有yaml配置文件

• control_v11p_sd15_canny
• control_v11p_sd15_mlsd
• control_v11f1p_sd15_depth
• control_v11p_sd15_normalbae
• control_v11p_sd15_seg
• control_v11p_sd15_inpaint
• control_v11p_sd15_lineart
• control_v11p_sd15s2_lineart_anime
• control_v11p_sd15_openpose
• control_v11p_sd15_scribble
• control_v11p_sd15_softedge
• control_v11e_sd15_shuffle
• control_v11e_sd15_ip2p
• control_v11u_sd15_tile

预处理器与模型一览表

分类	预处理器	备注	模型
黑白倒转	invert
边缘检测	canny		control_v11p_sd15_canny
深度检测	depth_leres	LeRes depth estimation	control_v11f1p_sd15_depth
深度检测	depth_midas		control_v11f1p_sd15_depth
深度检测	depth_zoe	推荐，最精细	control_v11f1p_sd15_depth
局部重绘	inpaint_global_harmonious	controlnet自带局部重绘	control_v11p_sd15_inpaint
线稿控制	lineart_anime	动画	control_v11p_sd15s2_lineart_anime
线稿控制	lineart_anime_denoise	动画	control_v11p_sd15s2_lineart_anime
线稿控制	lineart_coarse		control_v11p_sd15_lineart
线稿控制	lineart_realistic	最像线稿	control_v11p_sd15_lineart
线稿控制	lineart_standard		control_v11p_sd15_lineart
面部控制	mediapipi_face
直线检测	mlsd	M-LSD line detection，直线检测，建筑类最适用	control_v11p_sd15_mlsd
法线贴图	normal_bae		control_v11p_sd15_normalbae
法线贴图	normal_midas		control_v11p_sd15_normalbae
姿态估计	OpenPose pose detection		control_v11p_sd15_openpose
姿态估计	openpose_face		control_v11p_sd15_openpose
姿态估计	openpose_faceonly		control_v11p_sd15_openpose
姿态估计	openpose_full		control_v11p_sd15_openpose
姿态估计	openpose hand		control_v11p_sd15_openpose
涂鸦	scribble_hed		control_v11p_sd15_scribble
涂鸦	scribble_pidinet		control_v11p_sd15_scribble
涂鸦	scribble_xdog		control_v11p_sd15_scribble
语义分割	seg_ofade20k		control_v11p_sd15_seg
语义分割	seg_ofcoco		control_v11p_sd15_seg
语义分割	seg_ufade20k		control_v11p_sd15_seg
风格转移	shuffle	图像风格化	control_v11e_sd15_shuffle
软边缘	softedge_hed		control_v11p_sd15_softedge
软边缘	softedge_hedsafe		control_v11p_sd15_softedge
软边缘	softedge_pidinet	推荐	control_v11p_sd15_softedge
软边缘	softedge_pidisafe		control_v11p_sd15_softedge
提取色彩	t2ia_color_grid		t2iadapter_color_sd14v1
边缘检测	t2ia_sketch_pidi		t2iadapter_sketch_sd14v1 / t2iadapter_sketch_sd15v2
风格转移	t2ia_style_clipvision	图像风格化	t2iadapter_style_sd14v1
阈值	threshold
局部重绘	tile_resample	优化图生图自带的局部重绘	control_v11u_sd15_tile

预览对比

原图

1	2	3	4

黑白倒转|invert

1	2	3	4

边缘检测|canny

1	2	3	4

深度检测|depth_leres

1	2	3	4

深度检测|depth_midas

1	2	3	4

深度检测|depth_zoe

1	2	3	4

局部重绘|inpaint_global_harmonious

1	2	3	4

线稿控制|lineart_anime

1	2	3	4

线稿控制|lineart_anime_denoise

1	2	3	4

线稿控制|lineart_coarse

1	2	3	4

线稿控制|lineart_realistic

1	2	3	4

线稿控制|lineart_standard

1	2	3	4

面部控制|mediapipi_face

1	2	3	4

直线检测|mlsd

1	2	3	4

法线贴图|normal_bae

1	2	3	4

法线贴图|normal_midas

1	2	3	4

姿态估计|OpenPose pose detection

1	2	3	4

姿态估计|openpose_face

1	2	3	4

姿态估计|openpose_faceonly

1	2	3	4

姿态估计|openpose_full

1	2	3	4

姿态估计|openpose hand

1	2	3	4

涂鸦|scribble_hed

1	2	3	4

涂鸦|scribble_pidinet

1	2	3	4

涂鸦|scribble_xdog

1	2	3	4

语义分割|seg_ofade20k

1	2	3	4

语义分割|seg_ofcoco

1	2	3	4

语义分割|seg_ufade20k

1	2	3	4

风格转移|shuffle

1	2	3	4

软边缘|softedge_hed

1	2	3	4

软边缘|softedge_hedsafe

1	2	3	4

软边缘|softedge_pidinet

1	2	3	4

软边缘|softedge_pidisafe

1	2	3	4

提取色彩|t2ia_color_grid

1	2	3	4

边缘检测|t2ia_sketch_pidi

1	2	3	4

风格转移|t2ia_style_clipvision

无法预览

1	2	3	4

阈值|threshold

1	2	3	4

局部重绘|tile_resample

1	2	3	4