사람 재 식별을위한 빈번한 공유 하위 채굴의 온라인 공동 다중 메트릭 적응은 2020CVPR의 보행자 재 식별 분야의 기사입니다. 인스턴스 수준 인식 문제인 보행자 재인식은 컴퓨터 비전 분야에서 여전히 어려운 문제입니다. 많은 P-RID 작업은 오프라인 학습 데이터에서 특징이나 지표를 구별하고이를 보이지 않는 온라인 테스트 데이터에 직접 사용하는 것을 목표로합니다. 그러나 훈련 데이터와 테스트 데이터 간의 심각한 데이터 변환 문제로 인해 성능이 크게 제한됩니다. 따라서 우리는 모든 공유 하위 집합에서 일련의 메트릭을 학습하여 오프라인 학습 P-RID 모델을 온라인 데이터에 적용하는 온라인 공동 다중 메트릭 적응 모델을 제안합니다. 각 공유 하위 집합은 새로 제안 된 빈번한 공유 하위 집합 마이닝 모듈에 의해 얻어지며 강력한 시각적 유사성 관계를 가진 테스트 샘플 집합을 포함합니다. 기존 온라인 판별 방법과 달리, 우리 모델은 특정 샘플의 판별 방법과 테스트 샘플 간의 집합 기반 시각적 유사성을 모두 고려하므로 다중 코어 포스트 퓨전 프레임 워크를 통해 여러 적응 형 메트릭이 모두를 공동으로 개선 할 수 있습니다. 테스트 샘플의 판단 방법을 결정합니다.
보행자 재 식별 (P-RID)은 컴퓨터 비전 분야에서 매력적인 연구 주제이며 공공 카메라 감시와 같은 실용적인 응용 분야에서도 중요한 부분입니다. 인기있는 솔루션은 오프라인 교육 데이터에서 감독 된 기능 / 메트릭 학습을 수행하고 평가를 위해 온라인 비지도 테스트 데이터에 직접 적용하는 것입니다. 그러나 학습 테스트 데이터 (테스트 데이터는 완전히 다른 클래스의 학습 데이터에서 가져온 것임) 분포의 심각한 변화로 인해 엄청난 시각적 외관 변화, 보행자 포즈, 카메라 각도, 조명 변경, 배경 혼란이 발생하여 오프라인 학습 모델의 성능은 실제로 제한된.
이 제한된 성능의 근본 원인은 온라인 테스트 데이터 자체의 정보를 고려하지 않기 때문 입니다. 따라서 직접적인 해결책은 오프라인 학습 모델을 사용하여 온라인 테스트 데이터에 적응하여 분포 격차를 줄이는 것입니다. 최근 다양한 온라인 PRID 방식이 제안되고 있으며, 이러한 방식은 크게 두 가지로 나눌 수있다. 집합 중심의 순위 재 지정 방법은 테스트 샘플 간의 유사성 관계를 기반으로 쿼리 순위 목록을 최적화합니다. 이들의 성능은 훈련 데이터에서 오프라인으로 학습 된 모델에 전적으로 의존하며, 다른 테스트 샘플에 대해 개별 특성이 무시되므로 개선이 중요하거나 불안정하지 않습니다. 다른 하나는 쿼리 별 메트릭 적응으로, 그 목적은 각 쿼리의 식별력을 높이는 것입니다. 각 쿼리에 대해 일반 오프라인 학습 메트릭이 인스턴스 별 로컬 메트릭에 적용됩니다. 집합 중심 방법과 비교하여 주어진 테스트 샘플 간의 시각적 유사성 관계를 무시하면서 쿼리의 개별 식별 능력을 향상시킵니다. 또한 기존의 특정 쿼리 모델은 적응 과정에서 해당 라이브러리 데이터를 완전히 무시합니다. 고유 한 프로브 별 측정 항목, 즉 프로브의 특정 지표를 배울 수 있더라도. "하드"갤러리 샘플에는 클래스 내 분산이 크고 클래스 간 분산이 작으므로 학습 된 쿼리 별 메트릭에서 여전히 구별 할 수 없기 때문에 성능이 크게 저하됩니다 (그림 1).
그림이 보여 주듯이. 정규화 된 쌍 거리 분포의 훈련 및 테스트 샘플을 기반으로 잘 훈련 된 Market-1501 HA-CNN 모델 데이터 세트는 심각한 훈련 테스트 데이터 분포 전송 문제, 매우 어렵고 어려운 부정적인 간섭 (파란색 상자)을 보여줍니다. 검색의 정확성에 큰 영향을 미칩니다. 가장 진보 된 온라인 재주문 방법 (RR)을 사용하더라도이 사실 (빨간색 상자)은 여전히 산만 자보다 낮은 순위에 있습니다. 우리의 방법은 간섭을 성공적으로 처리하여 실제 경기가 목록의 맨 위로 성공적으로 다시 순위를 매겼습니다.
위에서 언급 한 문제를 해결하기 위해 본 기사에서는 새로운 온라인 공동 멀티 메트릭 적응 알고리즘을 제안한다.이 알고리즘은 테스트 샘플의 개별 특성을 고려할뿐만 아니라 쿼리 샘플과 라이브러리 샘플 간의 시각적 유사성을 완전히 탐구합니다. 관계. 아래 그림과 같이 온라인 P-RID 테스트 단계에서 제안한 빈번한 공유 하위 집합 마이닝 모델은 레이블이없는 쿼리 (갤러리) 집합 간의 고유 한 시각적 유사성 중복 관계를 사용하여 간결하고 강력한 비전을 위해 샘플을 자동으로 마이닝합니다. 협회를 공유하십시오. 공유 하위 집합에는 서로 시각적 유사성이 강한 일련의 쿼리 (라이브러리)가 포함되어 있으므로 Markov 메트릭을 효과적으로 학습하여 로컬 분포를 함께 조정할 수 있습니다. 공유 하위 집합을 기반으로하는 일련의 Markov 메트릭이 학습되면 각 쿼리 (라이브러리)에 대해 공유 하위 집합을 기반으로하는 모든 Markov 메트릭이 이후 단계에서 병합되어 특정 인스턴스의 로컬 메트릭을 얻습니다. 따라서 빈번한 공유 부분 집합 마이닝을 기반으로 제안 된 온라인 공동 다중 메트릭 적응 모델 (M3)은 온라인 순위 성능을 개선 할 수 있습니다. 공유 학습의 성공 여부는 샘플 간의 잠재적 공유 관계 발견에 달려 있으며 이러한 관계는 각 인스턴스를 개별적으로 처리하여 발견 할 수 없습니다. 공유를 통한 학습은 데이터 확장과 같은 공유 관계를 처리하는 데 유용하며 제한된 양의 학습 데이터 만 사용할 수 있습니다. 따라서 각 테스트 샘플 자체가 유일하게 사용 가능한 양성 샘플이기 때문에 공유 전략은 온라인 P-RID 학습에 특히 적합합니다.
이 백서의 주요 공헌은 다음과 같습니다. (1) P-RID에서 심각한 전송의 훈련 테스트 데이터 배포 문제를 목표로 오프라인 글로벌 학습에서 온라인 인스턴스 별 메트릭 적응으로 도약했습니다. 테스트 쿼리와 데이터베이스 데이터의 로컬 차별성을 동시에 강화하기 위해 일반적이고 유연한 학습 목표를 제안합니다. (2) 자주 공유되는 다양한 하위 집합을 마이닝하여 고유 한 시각적 유사성 공유 관계를 완전히 채굴합니다. 따라서 학습 지표를 공유하는 온라인 시간 비용은 지역 지표를 독립적으로 학습하는 온라인 시간 비용보다 훨씬 적습니다. (3) 온라인 테스트의 시간 효율성 요구 사항을 충족하기 위해 이론적으로 완전하고 효율적인 학습 최적화 방안을 제안하고 최적화 방안이 성능 향상을 보장 함을 입증합니다. (4) 우리가 제안한 모델은 기존 오프라인 P-RID 기준선에 쉽게 적용하여 온라인 성능을 향상시킬 수 있습니다. 다양한 고급 P-RID 모델을 기반으로 4 개의 까다로운 P-RID 벤치 마크 (CUHK03, Market1501, DukeMTMCreID 및 MSMT17)에 대한 수많은 실험을 통해 우리 방법의 효율성과 효과를 더욱 검증합니다.
그림과 같이 온라인 테스트 쿼리와 갤러리 샘플이 오프라인 학습 기준 모델에 입력되고 기능 설명자가 먼저 획득됩니다. 제안 된 빈번한 공유 하위 집합 (SSSet) 마이닝 모델은 추출 된 기능을 마이닝하여 여러 공유 하위 집합을 생성하며, 이는 제안 된 공동 다중 메트릭 적응 모델에서 추가로 사용됩니다 (동일한 샘플에는 서로 다른 샘플은 시각적 유사성이 다릅니다). 각 쿼리 및 갤러리 샘플에 대해 학습 된 일치 메트릭을 통합하여 양방향 검색 및 일치를 통해 최종 순위 목록을 얻습니다.