고전문학 읽기-동적 장면을 위한 다단계 지도 구축(동적 장면을 위한 다단계 지도 구축)

0. 소개

시각적 SLAM의 위치 파악 및 지도 구성은 역동적인 장면에서 큰 어려움에 직면합니다. 최근 몇 년 동안 많은 우수한 연구들이 국지화 문제에 대한 효과적인 해결책을 제시해 왔습니다. 그러나 동적 장면에서 장기적으로 일관된 지도를 구축하는 훌륭한 작품은 상대적으로 적으며, 이는 지도 응용 프로그램의 개발을 심각하게 방해합니다. 이러한 문제를 해결하기 위해 " 동적 장면을 위한 다단계 지도 구축 "에서는 동적 장면을 위한 다단계 지도 구축 시스템을 설계한다. 본 시스템에서는 다중 표적 추적 알고리즘, DBSCAN 클러스터링 알고리즘 및 깊이 정보를 사용하여 표적 탐지 결과를 보정하고 정적 점군을 정확하게 추출하며 조밀한 점군 맵과 옥트리 맵을 구성합니다 . 우리는 평면 맵을 생성하기 위해 동적 환경에서 평면 표면의 추출, 필터링, 데이터 연관 및 융합 최적화를 포함하는 동적 장면을 위한 평면 맵 구성 알고리즘을 제안합니다 . 또한 객체 매개변수화, 데이터 연결 및 업데이트 최적화를 포함하여 동적 장면을 위한 객체 맵 구성 알고리즘이 도입되었습니다. 공개 데이터 세트와 실제 시나리오에 대한 광범위한 실험을 통해 본 연구에서 구축된 다단계 지도의 정확성과 제안된 알고리즘의 견고성을 검증합니다 . 또한 동적 객체 추적을 위해 구성된 객체 맵을 활용하여 알고리즘의 실제 적용 가능성을 보여줍니다.

(SLAM) 동적 장면을 위한 다단계 지도 구축

1. 주요 기여

본 논문에서는 그림 1과 같은 시스템 프레임워크를 사용하여 동적 장면에 적합한 다단계 지도 구성 알고리즘을 제안합니다. 첫째, YOLOX [8]는 장면의 의미 정보를 획득하는 데 사용되고 다중 대상 추적 알고리즘은 누락된 탐지를 보상하는 데 사용되며 DBSCAN 밀도 클러스터링 알고리즘과 깊이 정보는 탐지 경계 상자를 더욱 최적화하는 데 사용됩니다. 잠재적인 움직이는 물체 . 이어서, 포인트 클라우드와 평면을 추출하고 주성분 분석(PCA)과 최소 경계 직사각형을 사용하여 객체를 매개변수화합니다 . 또한 포인트 클라우드, 평면 및 객체를 필터링합니다. 다음으로, 이전 연구[9]에서 제공한 카메라 포즈를 기반으로 포인트 클라우드 접합 및 융합을 수행하고 평면과 객체에 대한 데이터 연관 및 업데이트 최적화를 수행한 후 밀집된 포인트 클라우드 맵을 옥트리 맵으로 변환합니다. 마지막으로 밀집 포인트 클라우드 맵, 옥트리 맵, 평면 맵, 객체 맵을 포함하는 다단계 맵이 구성되어 맵의 응용 시나리오가 풍부해집니다 . 그림 1은 동적 장면을 위한 다단계 지도 구축 알고리즘의 시스템 프레임워크를 보여주며, 공개된 데이터 세트와 실제 시나리오에 대한 실험을 통해 알고리즘의 효율성이 완전히 검증되었습니다.

그림 1. 동적 장면에 적합한 다단계 맵 구축 알고리즘의 시스템 프레임워크 밝은 녹색 부분은 RGB 이미지와 깊이 이미지를 입력하는 입력 모듈입니다. 짙은 녹색 부분은 전처리 모듈로 의미 정보 획득 및 전처리를 주로 담당합니다. 노란색, 파란색, 갈색 모듈은 지도 작성 모듈로, 각각 조밀한 포인트 클라우드 맵, 옥트리 맵, 평면 맵 및 객체 맵을 구성하는 일반적인 프로세스를 나타냅니다. 보라색 부분은 출력 모듈로, 지도 작성 모듈에서 구성한 다단계 지도를 출력하는 역할을 담당합니다.

이 기사의 기여는 다음과 같이 요약됩니다.

• 보정된 객체 검출 결과를 기반으로 포인트 클라우드를 필터링하고 순수 포인트 클라우드 맵과 정적 요소만 포함하는 옥트리 맵을 구성합니다.

• 환경 구조에 대한 인식을 구현하기 위해 동적 장면에서 평면 지도를 구성하는 방법을 제안합니다.

• 동적 장면에서 객체 맵을 구성하는 방법을 제안하여 SLAM이 로봇 환경 이해, 객체 조작 및 의미론적 증강 현실과 같은 고급 요구 사항을 충족할 수 있도록 합니다.

• 우리가 아는 한, 이 논문은 동적 장면에서 평면 지도를 구성한 최초의 작업이자 객체를 정확하게 매개변수화하고 정확하고 완전한 경량 객체 맵을 구축한 최초의 작업입니다.

2. 콘텐츠 개요

2.1 밀집 포인트 클라우드 맵 및 옥트리 맵 구축

의미론적 사전정보가 존재하는 경우, 객체검출박스나 의미마스크의 포인트 클라우드를 의미범주에 따라 삭제함으로써 정적 요소들만을 포함하는 밀집된 포인트 클라우드 맵을 구축할 수 있다. 그러나 원래의 의미 결과에만 의존하면 의미 정보의 "감지 누락" 및 "분할 부족" 문제로 인해 동적 객체가 불완전하게 제거될 수 있습니다. 이 기사에서는 이 문제를 해결하기 위해 의미론적 정보를 얻기 위해 YOLOX를 사용합니다. "탐지 누락" 문제를 해결하기 위해 이 기사에서는 다중 대상 추적 알고리즘을 사용하여 탐지 누락을 보상합니다. "세그먼트 부족" 문제를 해결하기 위해 , DBSCAN 클러스터링 알고리즘은 잠재적으로 움직이는 객체를 감지하는 데 먼저 사용되며 경계 상자 내의 전경 지점을 추출합니다. 이후, 검출 프레임 경계와 전경점을 따라 이웃 픽셀의 깊이 정보를 기반으로 검출 프레임을 적절하게 확장한다. DBSCAN 클러스터링으로 인한 오류를 방지하기 위해 감지 상자의 네 방향을 모두 50픽셀로 제한되는 확장 제한으로 설정했습니다. 키프레임 내에서 기본 움직이는 개체의 수정된 경계 상자 외부에 있는 픽셀이 추출되어 3D 세계 좌표계에 매핑됩니다. 이후, 이전 연구에서 제공한 카메라 포즈를 기반으로 서로 다른 키 프레임에서 추출된 포인트 클라우드를 접합 및 융합한 후 복셀 그리드 필터링을 통해 다운샘플링하여 저장 효율성을 향상시키고 내비게이션, 장애물 등의 작업을 지원합니다. 회피, 포인트 클라우드 맵은 옥트리 맵으로 변환됩니다.

2.2 평면지도 구축

평면 추출을 위해 PEAC 알고리즘[30]을 사용하여 현재 카메라 좌표계에서 평면의 매개변수와 포인트 클라우드를 얻은 후 평면의 가장자리 점을 추출한다. 이후 PCL 포인트 클라우드 라이브러리를 이용하여 평면에 대한 2차 피팅을 수행하여 정제된 매개변수와 내부 점을 획득한 후 평면의 가장자리 점의 이상값을 제거합니다.이 과정에서 깊이 정보를 기반으로 내부 점 비율 및 목표 감지 프레임의 위치 관계와 같은 다양한 요소가 평면을 필터링합니다. 평면 지도 초기화가 완료되면 현재 프레임에서 감지된 평면과 지도에 이미 존재하는 평면을 탐색하여 데이터 연관을 설정합니다. 그러나 복잡한 동적 장면에서는 감지된 평면에 심각한 오류와 무작위성이 발생하여 평면 데이터 연결이 실패하는 경우가 많습니다. 더 많은 관찰을 통해 성공적으로 상관되지 않은 두 평면이 올바른 방향으로 정제되어 후속 상관 관계가 더 쉬워집니다. 따라서 로컬 지도 생성 스레드에서는 지도의 평면에 대한 쌍별 비교가 수행됩니다. 두 평면이 위의 연관 조건을 충족하면 잠재적으로 연관되지 않은 것으로 간주됩니다. 그런 다음 관측치가 더 적은 평면을 관측치가 더 많은 평면으로 병합하고 최적화한 다음 관측치가 더 적은 평면을 지도에서 제거합니다.

3. 객체 맵 구축

3.1 객체 매개변수화 및 데이터 연관

모델링할 객체는 일반적으로 배경에 속하고 카메라에서 멀리 떨어져 있기 때문에 추출된 맵 포인트는 일반적으로 수가 적고 품질이 좋지 않으며 이상값 제거를 위해 클러스터링 알고리즘을 사용하는 것이 불가능합니다. 따라서 객체 모델링을 위해 각 프레임마다 밀집된 포인트 클라우드가 사용되며, 포인트 클라우드 처리에는 DBSCAN 밀도 클러스터링 알고리즘이 사용됩니다. 현재 프레임 k에서는 감지된 각 인스턴스에 대해 맵의 각 객체 인스턴스에 대해 연관 판단을 수행합니다. 모션 IoU, 예상 IoU, 3D-IoU 및 비모수적 통계는 일반적인 객체 데이터 연관 전략입니다. 한계에도 불구하고 이러한 전략을 통합하면 서로 보완할 수 있어 더욱 강력하고 정확하며 다양한 개체 데이터 연결 알고리즘이 탄생합니다.

그림 2. 지도 지점의 이상치 제거. (a) 데스크탑 평면을 결정합니다. (b) 점에서 평면까지의 거리를 기준으로 이상값을 제거합니다. (c) 격리 포레스트 알고리즘을 사용하여 이상값을 제거합니다.

3.2 객체 업데이트 및 최적화

우리는 탐지 인스턴스와 객체 인스턴스를 각각 매개변수화하기 위해 조밀한 포인트 클라우드와 희소 맵 포인트를 사용하며, 이 접근 방식은 단일 프레임에서 맵 포인트가 부족하고 여러 프레임에서 밀집 포인트 클라우드의 상당한 시간 소모의 단점을 보완합니다. 데이터 연결이 성공적으로 완료되면 맵 포인트와 매개변수가 업데이트되고 이후 개체의 맵 포인트와 평면 또는 개체와 연결된 평면 사이의 거리와 격리 포리스트 알고리즘을 사용하여 이러한 맵 포인트에서 이상값이 제거됩니다. 그림 2가 표시됩니다.

4. 실험

우리는 TUM RGB-D 데이터 세트에서 알고리즘의 성능을 평가하고 동적 개체 추적을 위해 실제 시나리오에 알고리즘을 적용합니다. 본 연구의 주요 초점은 맵 구축이며, 테스트 시퀀스는 실측 맵을 제공하지 않기 때문에 실험은 주로 맵 구축 결과를 질적으로 입증하는 것을 목표로 합니다. 우리의 알고리즘은 i9-12900H CPU, 3060 GPU 및 16GB 메모리가 장착된 노트북에서 실행됩니다.

4.1 기하학적 지도의 구축

밀집 포인트 클라우드 맵과 옥트리 맵의 구축 결과는 그림 3과 같다. 동적 객체를 처리하기 위한 모듈이 부족하기 때문에 ORB-SLAM2 알고리즘은 매우 동적인 장면에서 위치 지정 및 지도 구성을 수행할 수 없다는 것을 알 수 있습니다. 낮은 동적 장면에서 알고리즘은 동적 개체의 포인트 클라우드를 유지합니다. 객체 감지에서 누락된 감지와 잠재적인 움직이는 객체의 경계 상자를 완전히 덮어야 하는 문제로 인해 원래의 잠재적인 움직이는 객체 감지 경계 상자 내에 있는 포인트 클라우드를 삭제하여 구성된 조밀한 포인트 클라우드 맵에는 이러한 객체의 잔류 흔적이 많이 포함됩니다. .

그림 3. 포인트 클라우드 맵과 옥트리 맵. 맨 윗줄은 ORB-SLAM2 알고리즘과 밀집 매핑 모듈을 사용하여 구축된 밀집 포인트 클라우드 맵을 보여줍니다. 두 번째 행은 이전에 연구된 방법[9]을 위치 파악 모듈로 사용하여 구성된 조밀한 포인트 클라우드 맵을 보여줍니다. 이 맵은 잠재적인 이동 객체 감지 영역 내에 위치한 포인트 클라우드를 제외합니다. 세 번째 행은 우리 알고리즘으로 구성된 밀집 포인트 클라우드 맵을 보여줍니다. 맨 아래 행은 우리 알고리즘에 의해 생성된 옥트리 맵을 보여줍니다.

그림 4에서 구성된 평면 맵은 동적 장면에서 정적 배경 평면 구조를 정확하게 인식합니다. 이는 증강 현실과 같은 고급 시나리오에 적용할 수 있으며 카메라 자세 추정의 정확도를 높이는 랜드마크 역할을 합니다.

그림 4: 인접하게 배치된 반복 개체의 생성된 맵, 왼쪽 이미지는 시퀀스의 개요를 제공합니다.

4.2 객체 맵 구축

그림 5와 같이 TUM 데이터 세트의 8개 동적 시퀀스에 대한 객체 맵 구성 성능을 평가합니다. 객체 맵 구성의 정확성을 검증하기 위해 구성된 객체 모델을 조밀한 맵에 오버레이하고 이를 이미지 평면에 투영합니다. 매우 역동적인 장면에서 우리의 알고리즘은 카메라의 다양한 모션 패턴과 환경의 동적 개체에 관계없이 장면의 거의 모든 개체를 정확하게 모델링할 수 있습니다. 하지만 로우 다이내믹 장면에서는 두 사람이 항상 테이블 옆에 앉아 있었기 때문에 정적인 물체와 배경이 심하게 가려지는 현상이 발생했습니다. 따라서 우리의 알고리즘은 일부 객체에 대한 충분한 관찰이 부족하여 일부 객체의 부정확한 모델링을 초래하며 이는 불가피합니다. 실험 결과는 우리의 알고리즘이 객체 매개변수화, 객체 데이터 연관 및 객체 최적화 전략에 매우 효과적이라는 것을 보여 주며, 구축된 객체 맵은 동적 객체의 영향을 극복함으로써 의미 탐색 및 객체 잡기와 같은 후속 응용에 유용합니다. 현실적으로 강력한 지원을 제공합니다.

그림 5. 객체 맵. 모니터, 책, 키보드 등 규칙적인 모양의 개체는 정육면체로 표현되고, 의자, 병, 곰 인형 등 불규칙한 모양의 개체는 2차 곡면으로 표현됩니다.

4.3 실제 환경에서의 견고성 테스트

또한 Realsense D435i 카메라를 사용하여 실제 시나리오에서 방법을 테스트하여 효율성과 견고성을 검증했습니다. 실험에서 한 사람은 카메라 시야 내에서 불규칙한 움직임을 보였습니다. 알고리즘의 견고성을 검증하기 위해 우리는 카메라 모션의 두 가지 모드, 즉 1) 장면의 한쪽 끝에서 다른 쪽 끝으로 이동하는 모드, 2) 거의 고정된 모드를 평가합니다. 다단계 지도 구축 결과는 그림 6과 같다. 실험 결과는 우리의 알고리즘이 객체와 카메라의 다양한 모션 상태에서 정확한 조밀한 포인트 클라우드 맵, 옥트리 맵, 평면 맵 및 경량 객체 맵을 구성할 수 있음을 보여줍니다.

그림 6. 실제 장면의 다단계 맵 구성 결과 위쪽 이미지 세트에서는 카메라가 장면의 한쪽 끝에서 다른 쪽 끝으로 이동하고 아래쪽 이미지 세트에서는 카메라가 거의 정지 상태를 유지합니다. 이미지 (a), (b) 및 ©는 각각 밀집 포인트 클라우드 맵, 옥트리 맵 및 평면 맵을 나타냅니다. 이미지 (d)는 개체가 조밀한 포인트 클라우드 맵(이미지 (e))에 중첩되고 이미지(이미지 (f))에 투영되어 개체 맵 구성의 효율성을 보여주는 경량 개체 맵을 보여줍니다.

4.4 동적 객체 추적 실험

또한 구성된 객체 맵을 동적 객체 추적에 적용하고 Pico Neo3 장치를 사용하여 장면 이미지를 캡처하고 알고리즘을 활용하여 객체 맵을 구성합니다. 이 경우 맵 포인트의 깊이 정보는 스테레오 매칭을 통해 얻어지며 이러한 계산은 실시간 성능을 보장하기 위해 키프레임에서만 수행됩니다. 구성된 객체 맵은 그림 7(a)에 나와 있습니다. 객체 맵이 구축되면 사용자는 추적할 대상 객체를 선택할 수 있습니다. 사용자가 물체를 움직일 때 시스템은 KCF 단일 물체 추적 및 광학 흐름 추적 알고리즘을 사용하여 물체의 실시간 자세를 계산합니다. 그림 7(b)-(d)는 책, 키보드, 병의 동적 추적 결과를 보여줍니다. 실험 결과에 따르면 우리의 알고리즘은 동적 환경에서 개체를 정확하게 모델링하고 개체 추적을 위한 정확한 개체 모델과 포즈를 제공할 수 있으므로 실제 적용에 매우 유용합니다. 또한 이는 우리의 알고리즘이 특정 장치에 의존하지 않는다는 점을 강조하여 견고성과 일반성을 입증합니다.

그림 7. 실제 장면의 객체 모델링 및 동적 추적.

5. 요약

본 논문에서는 역동적인 장면에 맞춰진 다층 지도 구성 알고리즘을 제안한다. 우리는 정적 배경과 객체가 포함된 조밀한 포인트 클라우드 맵, 옥트리 맵, 평면 맵 및 객체 맵을 성공적으로 구축했습니다. 이는 동적 간섭이 있는 경우 구현할 수 있으며, 이는 모바일 로봇의 환경 인식 기능을 풍부하게 하고 맵 구축을 위한 응용 시나리오를 확장합니다. 역동적인 환경에서. 광범위한 실험을 통해 알고리즘의 정확성과 견고성을 입증하고 동적 객체 추적 실험을 통해 실용성을 더욱 확인했습니다. 앞으로는 랜드마크를 사용하여 카메라를 최적화하므로 인간 이외의 움직이는 객체의 실제 움직임을 고려하고 평면과 객체를 활용할 계획입니다. 자세를 취하고 포지셔닝 정확도를 더욱 향상시킵니다.