Microsoft: 벡터 검색 및 벡터 데이터베이스

벡터는 미래의 데이터 표현입니다.

벡터 검색

방법

거리 계산 횟수 줄이기

• 해싱
• 공간 파티션 트리
• 이웃 그래프

SPTAG

혼합 kd 트리 및 이웃 그래프

변화

큰 일반 벡터 검색

• 메모리
• 확장 가능

• 역지수

• 압축을 위한 글로벌 양자화

• top1의 재현율은 상대적으로 낮음

• 그래프 기반 이웃 그래프

스판

역지수의 문제점:

• 불균형 클러스터링 방법
• 낮은 적용 범위

• 겹치는 클러스터, 서로 다른 방향으로 복제
• 쿼리 상태 정리, 쿼리 거리에 상대적으로 가까운 쿼리에 대한 조회 테이블

참고

• https://github.com/microsoft/SPTAG
• HNSW: https://arxiv.org/pdf/1603.09320.pdf