종이 : 깊은 압축 : 가지 치기 압축 부분 깊은 신경망, 양자화 및 허프만 코딩 훈련
논문 링크 : https://arxiv.org/abs/1510.00149
ICLR 2016 최고의 종이, 가지 치기, 양자화에 의해, 허프만 세 - 하이브리드 압축 모델을 할 코딩.
소개
전체 알고리즘도 세 부분의 주요 공정이다 :
정리 1 : 중량의 아주 작은 부분은 희소 행렬에 0으로 가중치 행렬을 설정한다.
2. 정량화 : 무게가 정이 값 직후 더 필요한 저장 공간을 압축하여 중량을 저장하는 데 사용 공간을 줄일 수있는 공유 된 값을 유지하기 위해 사용되도록, 양자화 된 값을 잘라내 후 유지 하였다.
3. 허프만 코딩 : 허프만 코딩은 또한 데이터 저장에 필요한 저장 공간을 감소시키기 위해, 부호화의 한 형태이다.
전정
CSR의 원래의 행렬은 세 부분, AA, JA, IC로 나누어
+ N + 1의 수치로 표현되는 원본 크기 N × N 개의 스파 스 매트릭스 2A.
CSR과 CSC에 기초하여, 절대 오프셋 좌표의 인덱스 값에 기초하여, 상기 저장을 감소
구현 프로세스를 치기 :
1.이 임계 값을 설정, 절대 값이 유지되는 임계 가중치보다 크고, 다른 가중치는 0으로 설정된다.
치기 가중치 행렬 후 메모리에 저장된 압축 저장 희소 행렬을 이용하여 2 (예컨대 CSR, CSC).
양자화
프로세스 :
구현의 정량화 :
1. 초기화 K-수단은 중심 : 초기 중심의 결과에 큰 영향을 k는-수단 세 가지 방법이있다 : 균일 양자화는 양자화 및 확률은 균일 양자화 초기화 사용 더 밀도에 따른 양자화.
양자화의 출력 대신 각각에 대한 가중치를 결정하는 양자화 임계 값을 확인하십시오.
3. 미세 조정 : 상기 미세 조정의 K-수단의 중심.
들면 미세 조정의 중심을 K-의미
효과 치기 때문에, 성긴 매트릭스가 있으며, 상기 가중치 매트릭스는 0이 경사의 위치가 폐기되도록 연결이 제거되는 것을 나타낸다.
n은 가중치의 수이고, b는 각각 가중치의 원래 값의 비트 수이고, k는 양자화 클러스터의 수는
정량화 :
정량화 완료 한 후, 스파 스 매트릭스 플러스 룩업 테이블에 원래의 희소 행렬 압축의 목적을 달성하기 위해.
코딩 허프만
도면은 이전에 압축 및 압축 후의 길이 분포를 나타낸다
실험
깊은 압축은 35 내지 49 배 정밀도 압축 파라미터의 손실없이 가능하다.
