요약 소개
이것은 "메타버스"와 관련된 주제에 초점을 맞춘 일련의 기사가 될 것입니다. 이 글은 시리즈 전체를 요약한 글이며, 추후 지속적으로 업데이트될 예정입니다.
"메타버스"는 거짓말인가요?
메타버스에는 바보와 거짓말쟁이라는 두 가지 기본 입자가 있습니다.
많은 바보가 거짓말쟁이 주위를 고속으로 회전하며 메타버스의 물질의 기초를 형성합니다.
외부 세계의 고에너지 "개념"에 의해 모토가 자극되고 바보는 점프합니다. 고에너지 상태로 전환했다가 잠시 후 다시 저에너지 상태로 점프하는
동시에 외부 세계로 티켓을 보냅니다.
우리 모두 알고 있듯이 '메타버스'는 소설 '스노우 크래시'에 등장하는 가상현실 세계의 이름이다. 지금 많이 언급되는 이유는 주로 2021년 10월 28일 페이스북이 회사명을 메타로 변경했기 때문입니다. 현재 "메타버스"라는 용어는 기술적인 의미보다 상업적인 의미를 더 많이 갖고 있습니다. 이는 현재 실제로 존재하는 것보다 미래 비즈니스에 대한 회사의 설명이나 비전을 나타내는 일반적인 용어에 가깝습니다.
이 기사 시리즈에서는 주로 "메타버스"와 관련된 기술을 논의합니다. '메타버스'가 거짓말인지에 대한 질문에 대해서는 이러한 기술을 이해한 후에는 자신만의 이해를 갖게 될 수도 있습니다.
또한 일부 개발 관련 튜토리얼도 CSDN에 동시에 게시될 예정입니다.
이 기사 소개
PC는 인터넷의 입구이고, 휴대폰은 모바일 인터넷의 입구입니다. 이러한 관성적 추론에 따르면 "메타버스"에도 입구가 있어야 합니다. 현재 주류 견해는 이러한 장치가 AR 글래스 에 속해야 한다는 것입니다 .
VR?AR?XR?MR?
VR(Virtual Reality)은 특정 기기를 통해 디지털 공간의 실제 환경을 시뮬레이션하여 몰입감을 선사합니다. 시뮬레이션 자체가 반드시 현실 세계를 완전히 복원할 필요는 없지만, 현실 세계의 법칙에 대한 이해를 바탕으로 이루어져야 합니다. 불합리한 시뮬레이션은 설득력이 없으며 거절을 초래할 수도 있습니다. VR 기술은 완전한 시뮬레이션 세계를 구축해야 하기 때문에 관련 기술이 매우 복잡할 수 있습니다. 현재 소비자 시장에서 VR에 대한 이해는 주로 VR 디스플레이에 집중되어 있습니다. 시뮬레이션의 현실성에 대한 요구 사항이 더 높은 경우 이를 디지털 트윈이라고 부르는 것이 더 적절할 수 있습니다.
AR(Augmented Reality)은 특정 기기를 이용하여 실제 환경에 디지털 정보를 추가하여 실제 환경에 대한 사람들의 이해를 높이는 기술입니다. AR은 현실 세계의 법칙을 시뮬레이션할 필요가 없지만 디지털 정보를 실제 공간에 매핑할 수 있습니다. 어떤 관점에서는 AR이 VR보다 구현하기가 더 쉽습니다. 하지만 바로 이 때문에 AR 시장의 제품은 더욱 혼합되어 있다. 이에 대해서는 나중에 자세히 설명하겠습니다.
쉽게 말하면 VR의 본체는 디지털 공간이고, AR의 본체는 현실 공간이다.
AR의 일반적인 정의에 실제 환경에 대한 이해와 시뮬레이션을 더한 것을 보통 MR(Mixed Reality)이라고 합니다. 위 사항을 모두 포함하면 일반적으로 XR(Extended Reality)이라고 합니다.
VR, AR, MR, XR
"인터넷의 모든 것은 가상이며 통제할 수 없습니다."
위의 VR/AR 설명에서는 의도적으로 가상이라는 단어를 피하고 '디지털', '정보' 등의 설명을 사용했습니다. 그 이유는 현재 일부 사람들이 "가상"은 가치가 없다고 생각하기 때문입니다. '숫자'나 '정보'의 가상성은 물리적 대상에 대해서는 상대적이지만 가치 측면에서는 의미가 없습니다. "숫자"나 "정보"의 "가치"와 "가격"에 관한 문제는 나중에 적용 장에서 다루겠습니다. 요컨대, 이것이 '가상'이라는 이유만으로 전혀 의미가 없다고 주장하는 것은 옳지 않습니다.
그 해
소비자 VR 헤드셋은 2014년 Oculus가 Facebook에 인수된 이후 일반 대중의 시야에 들어섰습니다. 저는 2014년에 Oculus DK1을 구입하는 행운을 누렸습니다.
2015년 HTC는 Vavle의 Lighthouse 기술을 사용하여 Vive를 출시했습니다. Lighthouse는 기지국의 스캐닝 레이저와 장치의 감광 센서를 사용합니다. 신호를 받은 감광 센서 사이의 시간차를 측정해 레이저 기지국 장비에 대한 각도로 변환한 뒤 삼각 측량을 통해 장비의 자세 정보를 얻는다. (작업 시연은 https://www.youtube.com/watch?v=J54dotTt7k0을 참조하세요.) HTC의 Vive는 오랫동안 VR 장비의 대명사였습니다.
등대가 작동하는 방식
2015년 구글은 탱고폰(Tango Phone)을 출시했다. 카메라, 깊이 카메라(ToF) 및 IMU를 사용하여 장치 위치를 지정하고 환경을 3차원으로 재구성합니다. 이것은 ARCore의 전신이었습니다. 해당 기술이 바로 이동로봇과 관련된 응용분야에 활용되어 온 SLAM(Simultaneous Localization and Mapping)이다. 당시 구글은 MSCKF를 기반으로 한 시각적 관성항법 알고리즘을 사용했다.
프로젝트 탱고
2015년 마이크로소프트는 홀로렌즈(Hololens)를 출시했다. 카메라, 깊이 카메라(ToF), IMU를 사용해 장치 위치를 파악하고 환경을 3차원으로 재구성하는 전용 HPU를 탑재하고, 광 도파관 기반의 광학 시스루 디스플레이(Optical See-through)를 제공한다. 기술.
홀로렌즈
그러나 같은 시기에 2015년 차이나조이에서 국내 바오펑 매직미러를 경험한 뒤 실망감을 느껴 당시에는 국내 VR 헤드마운트디스플레이 분야에 뛰어들지 않기로 결정하고 대신 다음과 같은 기술에 집중했다. 3차원 감지.
이후 열악한 VR 제품이 대거 시장에 등장해 VR 시장이 집단 붕괴하는 것도 잘 알려진 일이다.
오늘날 창업 초기부터 해당 분야에 종사해 온 3D센싱 기업들이 이제 상장의 길에 들어섰지만, 어느 정도 성장한 기업들이 새로운 분야에 투자하기는 어렵다. 몇년이 지나도 여전히 VR/AR 방향을 놓을 수 없어서 작년에 떠나 VR/AR 방향으로 돌아왔습니다.
포지셔닝 기술
포지셔닝은 VR 헤드셋이 완성해야 할 첫 번째 기능 중 하나입니다. 머리 장착 디스플레이 자세(Pose)의 위치 지정 및 추적입니다. 태도에는 위치와 방향이 포함됩니다. 위치는 일반적으로 X, Y, Z로 구성된 직각좌표계로 표현됩니다. 방향은 일반적으로 쿼터니언으로 표현되지만 일반적으로 Roll-Pitch-Yaw와 같은 오일러 각도가 사용됩니다. 따라서 VR 헤드셋은 3DoF와 6DoF의 두 가지 유형으로 구분됩니다 . 3DoF에는 방향 정보만 있습니다. 6DoF에는 완전한 포즈 정보가 있습니다.
3DoF의 VR 헤드 디스플레이는 IMU(관성 측정 장치)를 사용하여 장치의 선형 가속도 및 각가속도 측정(상보 필터링 또는 칼만 필터링과 같은 알고리즘)을 해결합니다. IMU는 상대 위치를 계산할 수 있지만 자체 노이즈, 오프셋 및 기타 문제로 인해 신뢰성이 매우 낮습니다. 그리고 단순히 상대 위치를 계산하는 것만으로는 많은 응용 분야에서 완전히 불충분합니다.
6DoF VR 헤드셋의 다양한 포지셔닝 방법은 아웃사이드인(Outside-in)과 인사이드아웃(Inside-out) 의 두 가지 유형으로 나뉩니다 .
아웃사이드인(Outside-In)은 외부 기지국을 이용해 기기의 위치를 찾는데 주요 방식은 라이트하우스(Lighthouse)와 컨스텔레이션(Constellation) 이다 .
Lighthouse는 이전에 이에 대해 말했으며 여기서는 설명하지 않을 것입니다.
Constellation은 Oculus의 솔루션입니다. 고정된 적외선 Led 마커 포인트의 상대 위치가 알려지면 장치의 적외선 Led 마커 포인트가 기지국 카메라에 의해 캡처되어 장치 자세를 계산합니다. 그 본질은 컴퓨터 비전의 PnP(Perspective-n-Point) 문제입니다 . 후광이 있는 현재 컨트롤러 핸들의 대부분은 여전히 이 방법을 사용합니다. 그러나 보시다시피 계산 방법, 데이터 동기화 및 통신 방법이 크게 개선되었습니다. (참고: https://developer.oculus.com/blog/tracking-technology-explained-led-matching/)
Oculus DK1 HMD 
Qusest 컨트롤러
또한, 외부에서 초음파나 자기장을 이용하는 측위 솔루션도 있지만, 간섭 방지 특성이 좋지 않아 이를 활용하는 제품은 거의 없다.
인사이드 아웃(Inside-out)은 기기에 기지국을 올려 놓고 위치 측위를 위해 기지국을 통해 외부 신호를 측정하는 것으로 볼 수 있다.
인사이드아웃은 주로 시각적 솔루션을 사용합니다. 개발 초기에는 QRCode를 외부에 배치한 것도 있었고, 적외선 마커(마커)를 배치한 것도 있었습니다. 오늘날의 인사이드아웃은 주로 이미지에서 시각적인 특징(Feature)을 추출하여 위치추적과 추적을 수행한다. 어떤 방법을 사용하든 특정 랜드마크(Landmark)의 위치정보를 획득하고, 위치정보의 변화를 추적하여 헤드셋의 포즈(Pose)를 획득한다.
VR 초기 프로토타입 테스트룸 스트리밍
그러나 이미지의 시각적 특징도 움직이면 시각적 특징에만 의존하는 내부 위치 지정 시스템이 흔들리거나 손실될 수도 있습니다. 또한 시각적 이미지 획득에는 시간 간격(노출 시간 및 프레임 속도)이 높아 어느 정도 경험에 영향을 미칩니다. 따라서 현재 주류인 VR 포지셔닝 시스템은 순수한 시각적 측위(v-slam) 솔루션이 아닌 시각적 관성 항법 시스템 (vi-slam)을 사용하고 있다.
시각적 관성 항법 시스템은 이동 로봇과 무인 항공기에서 흔히 볼 수 있으며, 현재 많은 청소 로봇에도 이 기술이 탑재되어 있습니다. (Oculus의 솔루션은 ETH Zurich에서 탄생했습니다. 로봇 공학을 공부하는 사람들은 이 학교에 대해 잘 알고 있을 것입니다.) Microsoft는 2018년까지 Hololens에 대한 포지셔닝 기술을 라이선스 방식으로 다양한 WMR 헤드셋 제조업체에 제공했습니다. 그러나 이 인증에는 실제로 알고리즘이 포함되어 있지 않고 장치의 관련 기술 요구 사항만 포함되어 있습니다. 예를 들어 Samsung Odyssey의 실제 포지셔닝 하드웨어는 복잡한 컴퓨팅 기능이 없는 일반적인 USB 쌍안 관성 항법 장치(ov7251+lattice fpga+CYUSB3064)입니다. 이로 인해 경험이 부족한 WMR 제품이 많이 발생합니다. 이후 2018년 9월 Oculus는 1,000위안의 가격으로 시각적 관성 내비게이션 시스템을 VR 헤드셋에 통합한 최초의 Quest를 출시했습니다. (Oculus의 Insight 포지셔닝 시스템 참고자료: https://tech.fb.com/ar-vr/2019/08/the-story-behind-oculus-insight-technology/ )
현재 시각적 관성 항법 포지셔닝 시스템을 적용하면 VR 헤드셋이 더 이상 사용 공간을 특별히 구성할 필요가 없어 VR 사용 프로세스가 크게 단순화됩니다. Qualcomm과 Oculus의 협력으로 이러한 유형의 솔루션이 이제 주류 올인원 VR이 되었습니다.
VR/AR이라고도 하나요?
효과적으로 자세를 취하지도 못하고 머리에 디스플레이 장치만 올려 시각적 정보를 제공하는 장치도 VR/AR이라고 부른다. 이러한 장치인 헤드마운트디스플레이(HMD)는 오래전부터 존재해왔고, 이들의 디스플레이 콘텐츠가 머리의 특정 부위에 고정되어 있기 때문에 헤드락(Head-Locked)이라고도 불린다. 예를 들어 2012년 Google Glasses의 경우입니다. 많은 자료에서 이러한 제품은 VR/AR 제품과 구별하기 위해 스마트 안경 카테고리 로 분류됩니다 . 이런 종류의 VR/AR은 대중의 인식과는 많이 다르지만, 국내 많은 기업들이 이러한 제품을 VR/AR 제품으로 판매하고 있습니다.
보여주다, 보여주다, 보여주다
VR/AR 제품에 대한 소비자의 직관적 경험은 디스플레이의 효과이기 때문에 디스플레이는 아무리 강조해도 지나치지 않습니다. 이 때문에 많은 제조업체에서는 제품 홍보 시 디스플레이 매개변수가 얼마나 우수한지 강조합니다. 그러나 NED(Near-Eye Display)는 기존 디스플레이와 매우 다릅니다.
눈과 화면 사이의 거리가 매우 가까워졌기 때문에 더 이상 화면 해상도를 사용하여 디스플레이 효과 자체를 평가할 수 없습니다. VR 렌즈가 있기 때문에 일반적으로 PPI(Pixels Per Inch)를 PPD(Pixels Per Degree)로 변경해야 합니다. 프레임 속도와 응답 속도를 향상시키기 위해 많은 장치에서 Foveated Rendering 기술을 지원합니다. 화면의 디스플레이 해상도가 더 이상 동일하지 않기 때문입니다. 이는 결국 양안의 입체적 시청 거리가 형성되어야 하기 때문이며, 사람마다 시청 거리와 굴절 정도가 다르며, 이미지에 대한 감각적 경험도 크게 달라지게 됩니다.
디스플레이의 중요성 때문에, 같은 가격대의 주요 VR 제조사 제품들의 디스플레이 효과는 일반적으로 크게 다르지 않습니다. 그러나 VR 디스플레이 기술의 추가 개발과 단초점, 줌, 안구 운동 및 기타 기술 지원으로 VR 디스플레이는 신제품 차별화를 가져올 것입니다.
Optical See-through 디스플레이 기술에는 여전히 큰 문제가 있기 때문에 현재 AR 제품이 많이 있으며 일반적으로 디스플레이 문제가 있어 판단을 위한 벤치마킹이 어렵습니다. 현재 많은 국내 AR 안경 제조사들이 Birdbath의 기술 솔루션을 채택하고 있으며, 이는 가능한 한 빨리 제품을 출시하기 위한 절충안이기도 하지만 이상적인 AR 디스플레이 기술과는 아직 갈 길이 멀습니다. (일부 AR 디스플레이 기술 및 비교는 https://kguttag.com/을 참고하세요)
혼란스러운 AR 시장
VR의 경우 Video See-through를 사용하면 AR 디스플레이의 문제를 피할 수 있지만 동시에 깊이 추정, 이미지 보정, 지연 등의 일련의 문제에 직면하게 됩니다.
Oculus Quest 패스스루
"당신은 나에게 TNT를 사용하게 했어요"
PC에서는 키보드와 마우스가, 휴대폰에서는 터치스크린이 사용되는 것처럼 VR/AR 역시 적합한 상호작용 방식이 있어야 합니다. 현재 VR/AR 제품이 제공하는 상호 작용에는 핸들 컨트롤러, 동작 추적, 시선 및 시선 제어, 음성 인식 등이 포함됩니다. 게임 사용 시나리오만 고려한다면 조이스틱 컨트롤러가 여전히 더 적합한 방법입니다. 그러나 사용 편의성을 고려한다면 제스처를 추적하는 기능이 제공되어야 합니다. AR 제품의 경우 핸들 컨트롤러를 휴대폰으로 직접 교체하고 휴대폰의 기능을 사용하여 대화형 기능을 제공하는 경우가 많습니다.
핸들 컨트롤러의 경우 밸브인덱스가 핸들에 커패시터 배열을 추가하고 이미지 인식에 가까운 딥러닝 방식을 사용해 핸들에 제스처 인식 기능을 부여해(하드웨어는 Cirque) 더 나은 경험을 제공할 것으로 기대하고 있다. 또한 유사한 기술(https://dl.acm.org/doi/abs/10.1145/3313831.3376712)을 사용합니다. Facebook은 EMG 기반 손목 밴드 컨트롤러를 제공할 계획입니다(https://tech.fb.com/ar-vr/2021/03/inside-facebook-reality-labs-wrist-based-interaction-for-the-next -computing- 플랫폼/). 또한 포스 피드백 제품 제공에 중점을 두는 타사 제조업체가 많이 있습니다.
Steam Index용 정전식 감지 어레이
손 추적 측면에서 Hololens는 깊이 센서와 HPU 축복으로 인해 훨씬 더 나은 손 추적 경험을 제공합니다. 오큘러스도 전통적인 비전을 통한 제스처 추적을 구현했는데, 조만간 업데이트될 Hand 2.0 버전에서는 더 큰 개선이 이루어지겠지만 깊이 센서를 활용한 제스처 인식에 비하면 아직은 약간의 격차가 있다. 또 립모션을 인수한 울트라립도 제스처 기능을 계승하기 위해 일부 업체와 협력하고 있지만, 이번 협력의 결과가 이상적이지 않을 수도 있다.
시각과 시선, 음성 인식의 상호 작용은 지금부터 여전히 약간 TNT입니다.
도중에
장비적인 면에서는 VR은 현재 정상적인 초기 단계로 1.0의 문턱을 넘었다고 할 수 있습니다.전자제품 카테고리로서는 이미 필요한 기능을 제공할 수 있습니다.시장이 계속 확대됨에 따라 VR은 더 많은 사람들이 이용할 수 있게 될 것입니다. 노출되어 사용하세요. AR의 경우, VR이 완벽해지기 전에 AR 시장을 발전시키려는 것은 PC 기술보다 먼저 휴대폰을 개발하려는 것과 같습니다. 이는 AR이 불가능하다는 것이 아니라 시장의 규모와 수용에 과정이 필요하다는 뜻이다.현재 AR 시장은 상대적으로 규모가 작고 미성숙한 시장이다. 또한, Video See-through 기반의 VR/AR 듀얼 모드 장치도 점차 발전하고 있으며, Optical See-through 기반의 일반 AR 장치를 대체할 가능성이 높습니다.
어쩌면 우리가 길을 명확히 보기 전에 사과가 땅에 떨어질 때까지 기다려야 할 수도 있습니다.