1. 조직병리학
위험 계층화는 이미 암 단계, 분자 특징 또는 임상 변수를 사용하여 수행할 수 있습니다. 그러나 예후 통찰력을 향상시키는 것은 활발한 연구 분야입니다. 예후는 환자의 종양 재발, 원격 전이 발생 또는 사망 가능성과 같은 표준 치료를 받은 후 환자에게 발생할 가능성이 있는 것을 말합니다.
H&E Whole Image 이미지가 크고 조직적인 모습이 다양합니다. 유사분열 또는 분절된 조직 유형을 찾는 방법과 달리, 병리학자는 조직의 어떤 영역이 환자의 예후와 관련이 있는지(적어도 높은 확실성은 아님) 주석을 달 수 없습니다. 종양 등급은 세포 모양의 척도이지만 항상 예후의 좋은 지표는 아닙니다. 등급에 대한 병리학자의 관찰도 관찰자 간 변동성이 높았습니다.
임상 데이터, 유전체학 및 프로테오믹스와 같은 다른 양식 도 생존 모델에 사용할 수 있습니다. Vale-Silva 등은 여러 데이터 양식을 통합한 모델을 훈련시켰지만 임상 특징만 사용하는 모델에 비해 조직학이 모델을 개선하지 못한다는 것을 발견했습니다[Vale-Silva2020]. 이미징 및 유전자 발현 시그니처도 Zhong 등이 조사했습니다[Zhong2019b]. 그들은 조직학적 특징이 유전자 발현의 맥락에서 예후에 미치는 영향이 제한적이라는 것을 발견했습니다.
Hao 등은 또한 전체 이미지와 게놈 데이터의 조합으로 실험했으며 모델이 단일 양식만 사용하는 모델보다 성능이 우수하다는 것을 발견했습니다[Hao2020]. Chen 등[Chen2020]도 비슷한 결론에 도달했습니다. 그들은 게놈 기능 및 전체 이미지, CNN의 조직학 및 그래프 CNN 모델과 같은 여러 모델링 전략을 테스트했습니다.
현재 합의는 조직학 기반 특성이 게놈 또는 임상 변수를 사용하여 생존 패턴을 용이하게 할 수 있다는 것입니다. 그러나 성공 여부는 사용된 이미지 기능, 사용된 모델 및 데이터 세트 유형에 따라 달라질 수 있습니다.
범암 모델링
생존 모델은 동시에 여러 유형의 암에도 적용됩니다. wulczyn 등은 10가지 암 유형에 대한 생존 모델을 훈련하고 각 암 유형에서 모델의 예측력을 평가했습니다[Wulczyn 2020]. Vale-Silva 등은 33가지 암 유형에 걸쳐 범암 및 다중 모드 모델을 훈련했습니다[Vale-Silva2020].
2. 모달 퓨전
1. 점 곱셈 또는 직접 덧셈
이 방법은 텍스트와 이미지를 각각 삽입한 다음 해당 벡터를 추가하거나 점 곱합니다 . 장점은 간단하고 편리하며 계산 비용이 상대적으로 낮다는 것입니다.
2. 모달 크로스오버 방식은 트랜스포머(Transformer) 방식으로 최근에 많이 사용되고 있다.
이점은 이미지 기능과 텍스트 기능을 더 잘 표현하기 위해 Transformer 아키텍처가 사용된다는 것 입니다 . 단점은 많은 공간을 차지하고 계산 비용이 높다는 것입니다.
- 다중 모드 표현 학습(multimodal representation): 다중 모드의 상보성과 중복성을 사용하여 다중 모드 데이터를 표현하고 요약합니다.
- 공동 표현: 서로 다른 단봉 투영이 기능을 융합하기 위해 공유 하위 공간에 투영됩니다.
- 협력적 표현: 각 양식은 별도의 표현을 학습할 수 있지만 제약 조건을 통해 조정됩니다. 제약 조건은 적대적 훈련, 양식 인코딩 기능에 대한 유사성 제약 조건을 통해 얻을 수 있습니다.
- 코덱: 다중 모드 작업 변환에서 하나의 양식을 다른 양식에 매핑합니다. 인코더는 원래 양식을 중간 벡터에 매핑한 다음 중간 벡터를 통해 새 양식에서 식을 생성합니다.
- 모달 매핑(번역): 한 모달리티에서 다른 모달로 데이터를 변환합니다.
- 예제 기반: 검색 기반 모델은 다중 모달 번역의 가장 간단한 형태입니다. 그들은 사전에서 가장 가까운 예를 찾아 번역으로 사용합니다. 검색은 단봉 공간 또는 중간 의미 공간에서 수행될 수 있습니다.
- 생성 ：
- 문법 기반: 문법을 사용하여 대상 도메인을 제한함으로써 작업을 단순화합니다. 먼저 이미지의 개체 및 비디오의 동작과 같은 소스 형식에서 높은 수준의 의미 체계를 감지합니다. 이러한 탐지 결과는 미리 정의된 문법 기반 생성 프로세스와 병합되어 대상 양식을 생성합니다.
- 인코더-디코더: 소스 양식은 잠재적 표현으로 인코딩된 다음 대상 양식이 디코더에 의해 생성됩니다. 즉, 소스 양식은 먼저 벡터 표현으로 인코딩된 다음 대상 양식은 모두 단일 패스 파이프라인에서 디코더 모듈을 사용하여 생성됩니다.
- 연속 생성 모델: 시퀀스 번역에 자주 사용되는 소스 모달 입력 스트림을 기반으로 대상 양식을 지속적으로 생성하고 온라인 방식으로 각 시간 단계에서 출력을 생성합니다. 이러한 모델은 텍스트를 음성으로, 음성을 텍스트로, 비디오를 텍스트로 변환하는 것과 같은 시퀀스로 시퀀스를 변환하는 데 유용합니다.
- 모달 정렬
- 암시적 정렬: 암시적 정렬은 다른 작업에서 중간(종종 잠재적인) 단계 역할을 합니다. 예를 들어 텍스트 설명 기반 이미지 검색은 단어와 이미지 영역 사이의 정렬 단계를 포함할 수 있습니다.
- 명시적 정렬: 명시적 정렬은 주로 유사성 측정을 통해 이루어지며 대부분의 방법은 기본 빌딩 블록으로 서로 다른 형태의 하위 구성 요소 간의 유사성을 측정하는 데 의존합니다.
- 다중모드 융합(multimodal fusion) : 두 가지 분류 방법
- 집계 기반: 집계 기반 방법은 특정 작업(예: 평균화, 연결, 자체 주의)을 통해 다중 모달 하위 네트워크를 단일 네트워크로 결합합니다.
- 정렬 기반 융합 방법: 정렬 기반 융합 방법은 각 하위 네트워크에 대해 별도의 매개변수 전파를 유지하면서 정규화 손실을 사용하여 모든 하위 네트워크의 기능 임베딩을 정렬합니다.
- 초기: 초기 융합은 각 양식의 하위 수준 기능 간의 상관 관계 및 상호 작용을 활용하는 방법을 학습할 수 있습니다. 예를 들어, 문서 3에서 채택된 다항식 기능 융합은 기능을 융합하기 위해 로컬 연결을 전역 연결로 재귀적으로 전송합니다.
- 후기: 후기 융합은 단봉 결정 값을 사용하고 평균화, 투표, 채널 노이즈 및 신호 분산에 기반한 가중치 또는 학습된 모델과 같은 융합 메커니즘을 사용하여 융합합니다.
- 하이브리드: 하이브리드 퓨전은 공통 프레임워크에서 위의 두 가지 접근 방식의 장점을 활용하려고 시도합니다. 다중 모달 화자 인식 및 멀티미디어 이벤트 감지에 성공적으로 사용되었습니다.
- 공동 학습(co-learning) 공동 학습은 특정 양식에서 리소스가 부족한 모델 교육을 해결하는 데 도움이 되며, 다른 양식 데이터의 교육을 지원하기 위해 하나의 양식 데이터에서 정보를 추출합니다. 다양한 유형의 데이터 자원에 따라 협력 학습은 다음 세 가지 유형으로 나눌 수 있습니다.
- 병렬 기반: 훈련 데이터 세트의 한 양식의 관찰은 다른 양식의 관찰과 직접적으로 관련됩니다. 즉, 다중 모드 관찰이 동일한 인스턴스에서 나오는 경우입니다.
- 비평행 데이터: 서로 다른 양식의 관찰 사이에 직접 연결에 대한 요구 사항이 없습니다. 이러한 방법은 일반적으로 데이터 범주 중첩을 사용하여 공동 학습을 달성합니다.
- 하이브리드: 하이브리드 데이터 설정에서 두 개의 비병행 양식이 공유 양식 또는 데이터 세트로 연결됩니다.
-
활성화 맵: 활성화 맵은 모델의 예측에 가장 중요한 입력 이미지 영역을 보여줍니다. 예측을 할 때 모델이 "집중하는" 이미지 영역을 강조 표시합니다. 이는 모델이 특정 예측을 한 이유를 설명하는 데 도움이 됩니다.
-
Gradient-Weighted Class Activation Mapping(Grad-CAM): Grad-CAM은 특정 클래스에 대한 이미지의 각 픽셀의 중요성을 보여주는 히트맵을 생성하는 기술입니다. 이는 모델이 예측을 위해 사용하는 기능을 설명하는 데 도움이 됩니다.
-
Saliency 맵: Saliency 맵은 활성화 맵과 유사하지만 여러 예제에서 모델의 결정에 가장 중요한 입력 영역을 보여줍니다. 모델의 전반적인 예측에 가장 중요한 기능을 식별하는 데 도움이 될 수 있습니다.
-
LIME: Local Interpretable Model-Agnostic Explanations(LIME)는 해석하기 쉬운 더 간단한 모델로 모델을 근사화하여 모델 예측에 대한 설명을 생성하는 기술입니다. LIME은 모델이 단일 예를 예측하는 방법을 설명하는 데 도움이 될 수 있습니다.
-
통합 기울기(Integrated Gradients): 통합 기울기(Integrated Gradients)는 모델 출력의 기울기와 입력 특징을 결합하여 각 입력 특징에 중요도 점수를 부여하는 기법입니다. 이는 특정 입력 기능의 변경이 모델의 예측에 어떤 영향을 미치는지 설명하는 데 도움이 됩니다.
-
t-SNE 시각화: t-SNE(t-distributed Stochastic Neighbor Embedding)는 고차원 데이터를 저차원 공간에 시각화하는 기술입니다. 신경망에서 다양한 계층의 활성화를 시각화하는 데 사용할 수 있으며, 이는 모델이 예측을 위해 사용하는 기능을 식별하는 데 도움이 됩니다.