논문 : https://doi.org/10.1016/j.inffus.2022.03.007
침해사항이 있을 경우 해당 블로거에게 연락주시기 바랍니다.
소개하다
최근 정보융합에 관한 적외선 시각영상 융합에 관한 또 다른 논문을 보았는데, 기존의 최대 및 평균 손실함수와 비교하여 본 논문에서는 조명인지를 기반으로 손실함수의 가중치를 결정하는 방법을 제안하였다.
네트워크 아키텍처
위 그림은 전체 네트워크 아키텍처를 보여줍니다. 전체 네트워크 아키텍처는 그다지 복잡하지 않습니다. 네트워크는 간단히 특징 추출, 이미지 복원, 빛 인식 네트워크의 세 부분으로 나눌 수 있습니다. 다음으로 살펴보겠습니다.
광 감지 네트워크
이 네트워크를 소개하기 전에 먼저 이 네트워크가 수행하는 작업에 대해 이야기하겠습니다.
서문에서 본 논문에서는 조명 인식을 사용하여 손실 함수의 가중치를 결정한다고 언급했는데 조명 인식이란 무엇입니까?
본 논문에서 조명 인식은 실제로 이미지가 낮이나 밤에 속할 확률 입니다 . 이것이 무슨 소용이 있습니까?
먼저 위의 네 장의 사진을 보면 각 행은 해당 가시 및 적외선 이미지이고 첫 번째 행은 주간 이미지이고 두 번째 행은 야간 이미지입니다.
주간 가시영상의 가시광선 영상은 강도 정보가 우수한 반면, 적외선 영상의 강도 정보는 만족스럽지 못한 것을 알 수 있어 , 저자는 주간 가시광선 영상의 강도 정보를 최대한 유지하고자 한다 .
밤 이후 즉, 두 번째 줄의 영상을 보면 시각적 영상의 강도 정보가 매우 열악한 것을 알 수 있는데, 반대로 적외선 영상의 경우 강도 정보가 좋은 것을 볼 수 있는데, 이때 저자는 최대한의 강도 정보를 유지하고자 한다. 적외선 이미지 의 강도 정보 강도 정보
요약하자면 낮에는 가시광선 영상의 강도를 최대한 유지하고, 밤에는 적외선 영상의 강도를 최대한 유지하는 것입니다.
그렇다면 위의 작업을 어떻게 구현합니까? 당신이라면 어떻게 해결하시겠습니까?
먼저, 이 이미지가 낮인지 밤인지 알아야 하나요? 그런 다음 시각적 이미지가 낮인지 밤 인지 확인하기 위해 네트워크를 훈련한 다음 두 가지 확률인 낮 확률과 밤 확률을 구해야 합니다 . 이 확률을 손실 함수(weight)로 사용하세요 .
그렇게 생각하신다면 축하드립니다 작가님도 그렇게 생각하십니다 이것이 바로 우리가 소개할 광센싱 네트워크 입니다 .
이전에 많이 말했지만 마침내 네트워크 아키텍처를 살펴볼 수 있습니다.
전체 네트워크는 4개의 컨벌루션 레이어, 2개의 완전 연결 레이어 및 글로벌 평균 풀링 레이어로 구성되어 매우 간단합니다. 우리 모두는 Convolutional Layer와 Fully Connected Layer에 익숙하지만, 전역 평균 풀링은 그다지 익숙하지 않을 수도 있습니다. (혹은 저만 익숙하지 않을 수도 있습니다.)
전역 평균 풀링과 풀링의 차이점은 전역 풀링에서는 한 채널의 데이터가 값으로 변환되는 반면 평균 풀링은 컨볼루션 커널의 크기 등에 따라 달라집니다. 즉, 3채널 데이터를 입력합니다. 전체 추첨에 풀링하는 동안 각각 채널에 해당하는 세 개의 평균이 생성됩니다.
이런 방식으로 각 채널의 특징을 추출할 수 있고, 매개변수의 수를 크게 줄일 수 있습니다.
전체 네트워크는 입력 이미지를 기반으로 낮의 확률과 밤의 확률이라는 두 가지 확률을 생성하며 공식은 아래와 같으며 Pd는 낮의 확률, Pn은 밤의 확률, NIA는 위에서 언급한 조명 인식 네트워크.
지금까지 조도 감지 네트워크가 무엇인지, 이 네트워크의 역할에 대해 알아보았습니다.다음으로 특징 추출과 이미지 복원의 두 부분을 살펴보겠습니다.
특징 추출
CNN 부분
특징 추출의 네트워크 아키텍처는 위 그림에 나와 있습니다.
첫 번째 레이어를 주목해 보세요. 이 레이어의 그림 스타일이 다른 레이어와 다르다는 것을 알 수 있습니다 . 작가가 실수한 걸까요? 당연히 아니
저자는 여기에서 첫 번째 레이어가 1x1 컨볼루션 레이어라고 소개합니다. 주요 기능은 적외선과 시각적 모달 기능의 차이를 줄이는 것입니다. 이 효과를 달성하기 위해 저자는 특별히 첫 번째 레이어를 훈련시켰는데, 불행하게도 저자는 훈련에 대해서는 글을 쓰지 않았습니다. . . . . 여러분, 저를 도와주세요.
컨볼루션의 다음 4개 레이어는 모두 3x3이고 가중치를 공유합니다. 그러면 질문은 왜 가중치를 공유합니까?
앞에서 언급했듯이 첫 번째 레이어의 기능은 두 모드 간의 기능 차이를 최소화하는 것입니다. 이미지의 두 가지 양상은 서로 다른 방식으로 정보를 표현하기 때문에 이 두 가지 유형의 정보를 표현하는 방식이 동일해야 후속 특징 추출이 용이할 수 있기를 바라는 것이 첫 번째 레이어의 역할입니다.
위에서 언급한 바와 같이 두 가지 이미지의 정보를 기술하는 방식은 동일하므로, 이때 동일한 방식으로 두 가지 이미지의 특징만을 추출하면 된다. 추출된 특징을 통해 알 수 있다. 두 가지 유형의 이미지 모달 이미지 간 기능의 차이( 이것이 가중치를 공유하는 이유임 )와 서로 부족한 기능을 보완할 수 있습니다. 누락된 정보를 찾는 것이 CMDAF 의 임무입니다 . 그럼 CMDAF란 무엇인지 함께 살펴보도록 하겠습니다.
CMDAF
CMDAF의 구조는 위의 그림과 같으며, Fvi와 Fir은 각 단계에서 추출된 시각적 특징과 적외선 특징을 나타내며, CMDAF에 입력된 후 보완적인 특징 정보를 얻는다. 공식은 다음과 같습니다
여기서 GAP는 전역 평균 풀링입니다. 즉, 하나의 채널이 하나의 값을 생성합니다. 먼저 수식에서 수행되는 작업을 설명하겠습니다.
먼저 두 가지 특성의 차이를 찾은 후, 이 차이에 대해 전역 평균 풀링을 수행하고, 얻은 가중치에 이 차이를 곱한 후 원래 특성에 더하는 것이 위 공식의 전체 과정입니다.
위의 방법을 통해 두 가지 특성이 서로 보완적인 특성을 가질 수 있습니다.
이 프로세스는 2번째, 3번째, 4번째 컨볼루션 레이어 이후에만 발생합니다.
이미지 복원
이미지 복원 부분은 매우 친숙하며 간단한 컨볼루션 레이어입니다.
손실 함수
첫 번째는 강도 손실 함수인데, 저자는 앞서 언급한 조도 감지 네트워크에서 얻은 가중치를 이용하여 적외선 강도 손실과 시각 강도에 가중치를 부여하는데, 강도 손실 함수는 다음과 같다. 최상의 이미지를 생성하므로
저자는 이미지가 더 나은 이미지를 생성할 수 있도록 보조 강도 손실도 추가했습니다.
여기서의 기울기는 여전히 우리에게 익숙한 최대 기울기이며,
총 손실은 아래 그림과 같습니다.
요약하다
기사 전체에서 가장 놀라운 점은 손실 함수에서 더 이상 단순히 최대값이나 평균값 방식을 사용하지 않고 조명 상황에 따라 가중치를 할당하는 방식을 사용한다는 점입니다. 특징 추출 부분도 매우 흥미롭습니다. 그 특징 추출은 여전히 이런 식일 수 있습니다. 간단히 말해서, 저는 많은 혜택을 받았습니다.
다른 융합 이미지 논문 해석
==》논문 칼럼 읽어보시고 클릭해주세요》==
【논문 읽기】DIVFusion: 어둠이 없는 적외선 및 가시 이미지 융합
【读论文】RFN-Nest: 적외선 및 가시광선 이미지를 위한 엔드투엔드 잔류 융합 네트워크
【读论文】적외선 및 가시광선 이미지 융합을 위한 자체 감독 기능 적용
【读论文】FusionGAN: 적외선 및 가시 이미지 융합을 위한 생성적 적대 네트워크
【读论文】DeepFuse: 극한 노출 이미지 쌍을 사용한 노출 융합을 위한 깊은 비지도 접근 방식
【读论文】DenseFuse: 적외선 및 가시광선 이미지에 대한 융합 접근 방식
참고
[1] PIAFusion: 조명 인식 기반의 진보적인 적외선 및 가시 이미지 융합 네트워크