ControlNet 은 SD에서 매우 중요한 플러그인인데, 이 플러그인에 대해 아래에서 자세히 소개하겠습니다.
컨트롤넷
ControlNet은 추가적인 조건을 추가하여 확산 모델을 제어하는 신경망 구조입니다. 간단히 말해서 ControlNet은 생성된 그림에서 캐릭터의 포즈를 제한하는 등 Stable Diffusion이 그림을 생성할 때 제약이 되는 것입니다.
캐니 에지 감지 예시
Workflow: Edge 감지는 입력 영상에서 영상의 윤곽선을 추출하고 이를 프롬프트 단어 외에 추가 조건으로 입력하여 Stable Diffusion 그래픽 구축에 참여하고 그래픽 생성을 제어합니다.
앞선 예시에서는 전체적인 이미지의 배경과 의상은 그대로 유지하고, 헤어 컬러만 변경하였습니다. 자세한 내용은 AI 그리기(7) 안정 확산 그리기 부분 다시 그리기 기사를 참조하세요.
인간 자세 감지
Openpose 는 손, 다리, 머리의 위치 등 인간의 포즈를 추출할 수 있는 빠른 인간 키포인트 탐지 모델입니다. 자세한 내용은 AI 그리기(6) 안정 확산 그리기 및 그리기 기사를 참조하세요.
작업 흐름: OpenPose를 사용하여 입력 이미지에서 키포인트를 추출하고 키포인트 위치를 포함하는 제어 맵으로 저장합니다. 그런 다음 이미지가 이 두 조건을 기반으로 생성된다는 텍스트 힌트와 함께 추가 조건으로 Stable Diffusion에 제공됩니다.
Canny 가장자리 감지와 OpenPose 사용의 차이점은 무엇입니까?
Canny Edge Detector는 피사체와 배경의 유사한 가장자리를 추출합니다. 장면을 번역하는 경향이 있습니다. 이전 AI 드로잉 예(7) 안정 확산 드로잉 부분 다시 그리기에서는 검은 머리 여성이 빨간 머리 여성으로 바뀌는 것을 볼 수 있지만 윤곽선과 헤어스타일은 그대로 유지됩니다.
OpenPose는 머리, 팔의 위치 등 인체의 주요 지점만 감지합니다. 이미지 생성이 더 자유롭지만 원래 포즈를 따릅니다.
ControlNet 플러그인 소개
인터페이스는 아래 그림과 같습니다.
관련 버튼 소개:
활성화/활성화: ControlNet 시작 여부
낮은 메모리 모드/낮은 VRAM: 그래픽 카드의 비디오 메모리가 충분하지 않을 때 열립니다.
Pixel Perfect: ControlNet은 사전 처리된 이미지를 생성하기 위해 이미지에 지정한 이미지 높이와 너비를 사용합니다.
미리보기 허용: 전처리된 그래픽을 미리보아야 하는지 여부
전처리/전처리기: 일반 사진을 입력한다고 가정하면 전처리 후 처리됩니다.예를 들어 사진을 업로드하면 OpenPose 모델이 사진을 포즈 맵으로 처리합니다.
사진을 업로드하려면 먼저 [미리보기 허용]을 선택한 후 [전처리/전처리기] 옆의 폭발 버튼을 선택하고,
전처리된 결과는 오른쪽 그림 상자에 표시됩니다.
모델/모델: [Preprocessing/Preproessor]를 선택한 후 다음으로 [Model/Model]을 선택합니다. ] — 대응,
예를 들어;
포즈 감지/openpose -- control_v11p_sd15_openpose
라인 드래프트 감지/canny -- control_v11p_sd15_canny
상세한 ControlNet 모델
모델을 선택하다 보면 ControlNet 모델이 많이 있다는 것을 알 수 있는데, 필요한 기능을 쉽고 빠르게 검색하기 위해 기능의 차원에 따라 다음과 같은 마인드맵을 만들었습니다. 기능 구분은 https://github.com/lllyasviel/ControlNet을 참조하세요.
인체 포즈
인간 포즈 설정을 위한 5가지 전처리 모듈에 해당하는 [사람 포즈 설정]을 참조하세요. 전처리 모델 [openpose], 모델 선택 [control_v11p_sd15_openpose]를 선택합니다. 전처리 모델과 모델은 일대일 대응입니다.
즉각적인:
최고의 품질 , 걸작, 초고해상도, 현실적, 소녀 , 와이드 샷, 전신, 긴 검은색 직모, 큰 파란 눈, 검은색 진흰색 스타킹, 성인 여성, 아시아인, 나무, 바다
부정적인 프롬프트:
변형된 손과 손가락, 변형된, 나쁜 해부학적 구조, 변형된, 잘못 그려진 얼굴, 돌연변이, 여분의 사지, 못생기고 잘못 그려진 손, 사지 누락, 떠다니는 사지, 분리된 사지, 기형 손, 초점 없음, 긴 목, 긴 몸체
스타일/색상 변경
현재 사진의 스타일이나 색상을 변경하려면 가장자리 감지 모델인 canny와 hed를 사용할 수 있으며, 이 두 모델은 사진의 전체적인 구성을 유지합니다. hed는 cny보다 더 많은 세부 정보를 유지하므로 개인 취향에 따라 다릅니다.
전처리 모델 [라인 드래프트 감지/캐니]는 모델 [control_v11p _sd15_canny]와 함께 사용됩니다.
전처리 모델 [softedge_hed]는 모델 [control_v11p_sd15_softedge]와 함께 사용됩니다.
Hed가 Canny보다 더 많은 세부 정보를 보유하고 있음을 알 수 있습니다. 구체적인 사용은 개인의 상황에 따라 다릅니다.
발문
그래서 오늘은 여기를 소개합니다. 관심 있는 친구들은 우리를 팔로우할 수 있습니다. 우리는 이 튜토리얼 시리즈를 계속 업데이트할 것입니다.
유익하고 도움이 된다고 생각하시면 저를 팔로우하시면 앞으로 더 많은 콘텐츠가 공개될 예정입니다. 또한 our planet에 가입하시고, 공식 계정에 주목하시고, "planet"에 답글을 달고, 초대 코드를 받으실 수도 있습니다. , 가입하실 수 있습니다. 우리 행성이 무엇인지 모른다면 자세한 소개가 포함된 이 기사를 읽어보세요.
효율적인 수익 창출 및 조기 퇴근을
위한 AI 도구 강화 /details/132250585
"AI 고효율 [일, 공부]"에서 친구들과 흥미로운 주제로 토론을 하고 있는데, 같이 가보시는 건 어떨까요?
https://t.zsxq.com/11KVfN0RChttps://t.zsxq.com/11KVfN0RC공개 계정 @AI宅player No.2 플레이어는 AI를 활용하여 공부와 업무를 돕는 집착적인 실무자입니다. 전체 네트워크에는 20,000명 이상의 팬이 있으며 Xiaobai도 플레이할 수 있는 AI가 지속적으로 업데이트되어 2시간 일찍 퇴근할 수 있습니다.
What's on the planet:
e-경쟁 칼럼, 딥러닝 칼럼, AI 지원 학습 칼럼, AI 도구 수익화 칼럼 등대중에게 적합:
학교에 다니는 학생: 제 경험이 여러분이 직면한 문제를 해결하는 데 도움이 되기를 바랍니다.
개발자: 자신의 경험을 공유하면 진로를 넓히고 더 많은 것을 배울 수 있습니다.
부업으로 돈을 벌기를 희망합니다: 우리는 AI를 사용합니다. 현금화 방법은 부업으로 돈을 버는 데 도움이 될 수 있습니다
사실 엄격한 기준이 우리를 무한한 가능성으로 제한할 수는 없으니 아! 어서 얘들 아!