경량 네트워크 : 패킷 깊이 분리 회선 회선 및

ARTICLE 두 고전 네트워크 경량 압축 방법 : 패킷 회선 (회선 그룹) 및 (세퍼 컨벌루션 깊이 방향) 깊이 분리 컨벌루션

참고 :

• 짧은 : ZJC 형제의 작은 에세이
• 세부 : MobileNet의 R.JD 분석

0 컨볼 루션

컨볼 루션의 일반적인 목적 회선 필터 층은, 상기 매개 변수의 양을 결정

• 치수 (H1, W1) 및 (H, W)의 입력 / 출력 관계
• C1은, 입력 채널의 채널 번호와 동일한
• 채널 (C2)의 개수와 출력 동일한 개수

따라서, 공통 파라미터 컨벌루션 층의 양 : $P1 = W1 × H1 × C1 × C2 = K ^ 2C1C2$

1. 패킷 회선 (그룹 전환)

첫 번째 회선 개념에서 패킷 AlexNet ,도 등의 기본 원리.

때문 만이 메모리 GTX580 3기가바이트의 때, AlexNet의 매개 변수는 많은 양의 요구를 충족하기 위해, 두 개의 GPU에서 실행 그래서

• G 코드 그룹으로 분할 된 입력 / 출력 채널이 치수 (H1, W1, C1 / g) 및 (H2, W2, C2 / g)
• 이것 또한 필터의 필터 g 군 C2 / g의 치수 (H1, W1, C1 / g)

사실로 일본어 컨벌루션 층 분할 등가 g 컨벌루션 평행 한 층은 , 사실, 우리는 필터의 개수를 변경하지 않았지만, 각 필터 정보 C1 / g 채널에만 담당하고, 따라서 파라미터의 양이된다 : $P2 = P1 / g$

2. 분리 컨벌루션 깊이 (깊이 방향 Seperable 전환)

에서는 MobileNet , 분리 가능한 회선의 깊이는 두 단계로 설명 : 회선의 깊이 (깊이 방향 전환)과 포인트 - 방식 컨벌루션 (점별 전환)

• 회선 깊이는 실제로 상기 패킷 회선의 특별한 경우 이므로 C2 = C1, g = C1 즉, 패킷 깊은 컨벌루션 콘볼 루션 될 것이다. 분명하게, 각각의 채널의 깊이가 상기 입력 컨벌루션의 컨볼 루션은 단독 않도록 ( HL의 W1, 탄소수) → ( 의 H2의 W2, 탄소수)
• 점별 컨볼 루션은 , 사실, 보통 길쌈 특별한 경우는 , 1 × 1의 컨볼 루션 커널 크기 만, 그것은 (H2의의 W2, 필터 그렇게 조정 1 × 1 채널을 사용하는 의미 는 C1 ) → (H2의를, W2, C2 )

매개 변수 계산 :

• 깊이 파라미터 회선 량 : H1 × W1 × 1 × C1
• 회선 파라미터 정체 량 1 × 1 × C1 × C2

따라서, $P3 = K ^ C1C2 + 2C1 = (1 / C2 + 1 / K ^ 2) P1$
(C2에 대하여 큰 대 K하고 있다면 $P3≈P1 / K ^ 2$ )

로부터 다음 도표MobileNet-V1

3. 요약

• 패킷 회선 : 압축 $\ propto$ g
• 분리 가능한 회선 깊이 : 분쇄 효과 $\ propto$ $K ^ 2$
• 상기 채널 조정을 담당 이차원 회선의 전하에 착탈 컨벌루션 깊이 일반 패킷 컨벌루션 컨벌루션 상당
• 표기 1 × 1 필터가 추적 될 수 NIN을 (2013) , 네트워크의 다음 번호 (포함 GoogleNet 및 ResNet ) 이러한 설계 용도 네트워크 설계 (예컨대, 압축 파라미터의 양)
• MoblieNet V3에 V1에서, 구조 조정은 세부 사항에 대한 관련 서류 참조