목차
1. 미세 조정과 사전 교육
결론적으로,
- 사전 훈련: 작업 1 이 있고 , 큰 데이터 세트 A를 사용하여 모델을 훈련하고 훈련된 가중치 W를 저장합니다.
- 미세 조정: 작업 2는 작업 1 과 유사하며 W를 작업 2 의 초기화 또는 기능 추출기 로 사용 하고 새 데이터 세트 B 를 훈련합니다.
참조 링크: https://www.jianshu.com/p/330ee6e7ceda
2. 전이 학습
"실제로 전이 학습은 사전 훈련 + 미세 조정과 같습니다."
내용 중 이 부분은 https://blog.csdn.net/weixin_43283397/article/details/104682811 을 주로 참조합니다 . 이제 참조 링크를 기반으로 더 중요하다고 생각되는 지식 포인트를 다음과 같이 요약하겠습니다.
정의: 이전 도메인/작업에서 학습한 지식과 기술을 인식하고 새로운 도메인/작업에 적용하는 시스템의 능력
중요한 개념:
- 도메인: 갑상선 초음파 영상 분석, 심장 초음파 영상 분석 등 특정 시점의 특정 도메인
- 작업: 실제 작업, 인식 작업 및 분할 작업
세 가지 W, 무엇을, 어떻게, 언제:
- 마이그레이션 대상
- 마이그레이션하는 방법?
- 예제 기반
- 기능 기반
-공유 매개변수 기반
- 언제 마이그레이션해야 합니까?
전이 학습에 영향을 미치는 두 가지 핵심 요소:
- 네트워크 단절로 인한 최적화 어려움
- 상위 수준 네트워크에 표현된 특정 기능의 전송 프로세스로 인한 성능 손실
두 가지 요소 중 가장 큰 영향을 미치는 것은 전송 기능의 위치(네트워크의 하단, 중간 또는 상단)에 따라 다릅니다.
앞으로도 제가 보는 좋은 학습자료는 계속 기록해서 공유할게요!