2023년은 대형 모델과 벡터 데이터베이스의 정점이 될 것입니다. 국내 대형 모델의 발전도 전례 없는 기회를 맞이했고, ' 백 모델 ' 이 한창이다. 얼마전 막을 내린 세계인공지능대회에서는 국내외 기술 기업들이 전면적으로 참여해 30여종의 대형 모델이 공개 됐다 . " 대형 모델 메모리 " 이자 AIGC 애플리케이션 개발 의 새로운 패러다임의 중요한 부분 으로서 벡터 데이터베이스의 진화는 점차 전례 없는 새로운 수준에 도달했습니다.
Milvus는 2019년 공식적으로 오픈소스화 된 이후 세계 최대 규모이자 가장 활발한 벡터 데이터베이스 오픈소스 프로젝트이자 개발자 커뮤니티로 성장했습니다. Milvus 의 개발자이자 운영자 인 Zilliz는 개발자에게 사용하기 쉽고 비용 효율적인 벡터 데이터베이스 서비스를 제공한다는 개념을 항상 고수하면서 벡터 데이터베이스의 최전선에 있었습니다. 5년간의 지속적인 연마 끝에 Milvus 기반의 완전 관리형 벡터 데이터베이스 클라우드 서비스 제품인 Zilliz Cloud가 마침내 중국에서 출시되었습니다 .
지속적인 개발 및 업그레이드를 통해 Zilliz Cloud는 벡터 데이터베이스 트랙의 리더가 되었습니다. Zilliz Cloud는 중국에서 벡터 데이터베이스 클라우드 서비스를 완전히 시작 하면서 벡터 데이터베이스의 급속한 발전을 위한 새로운 시대를 열었습니다. 이번 국내 서비스 상륙을 위해 Zilliz 의 사명과 목표는 특히 명확하고 분명합니다.
• 세계에서 가장 전문적이고 완벽하게 관리되는 벡터 데이터베이스 클라우드 서비스를 제공합니다.
• 벡터 데이터베이스 서비스가 북미에 집중되어 있고 중국에는 벡터 데이터베이스 서비스가 없는 난처한 상황을 타파하십시오.
• 벡터 데이터베이스 서비스의 다중 클라우드 요구 사항을 충족하고 단일 클라우드 환경에 의해 비즈니스가 제한되지 않도록 합니다.
• 국경 간 비즈니스에 필요한 통합 벡터 데이터베이스 서비스 및 아키텍처에 대한 타당성을 제공합니다.
• Milvus 오픈 소스 솔루션, SaaS , PaaS 통합 인터페이스 표준, 원활한 오프라인 / 클라우드 마이그레이션 및 하이브리드 배포의 포괄적인 비용을 크게 줄입니다.
• 오픈소스인 Milvus 보다 높은 가성비와 안정적인 서비스 지원을 제공하는 제품 및 솔루션을 제공합니다 .
성숙하고 안정적이며, 세계 최초로 10억 단위의 벡터 스케일 서비스를 지원합니다.
Milvus는 오픈 소스 이후 기업 데벡터사용자가
벡터 데이터베이스는 AIGC 대형 모델의 중요한 보완물이며 정확하고 신뢰할 수 있으며 확장성이 뛰어난 장기 및 단기 " 메모리 " 를 제공하는 핵심 캐리어 입니다. 작년에 벡터 데이터베이스 프로젝트는 비가 내린 후 버섯처럼 생겨났습니다. 그러나 대부분의 벡터 데이터베이스에서 지원하는 벡터 데이터의 규모는 수천만에 불과하며 생산 환경을 지원할 능력이 없습니다.
이에 반해 Milvus의 지난 5 년 동안의 고객 애플리케이션 시나리오는 모든 계층을 다루었으며, 이르면 2021년 에는 수십억 수준의 벡터 스케일로 온라인 서비스에 대한 안정적인 지원을 달성했습니다 . 현재 Zilliz Cloud 의 벡터 데이터베이스 서비스는 10억 수준 이상의 벡터 데이터를 쉽게 지원할 수 있으며 가용성은 99.9% 에 달합니다 .
또한 제품과 기술 뒤에 Zilliz는 또한 세계에서 가장 경험이 풍부한 벡터 데이터베이스 전문가 팀을 보유하고 있으며 각 기업 사용자에게 4명의 기술 지원 직원을 제공할 수 있습니다. " 우리보다 벡터 데이터베이스를 더 잘 아는 사람은 없습니다 . " 오픈 소스 커뮤니티 및 비즈니스 사용자 약속.
고성능 + 고비용 성능, 유사한 제품을 훨씬 능가하는 우수한 성능
현재 주류 벡터 데이터 인덱싱 알고리즘은 메모리 알고리즘 또는 메모리 /SSD 하이브리드입니다.알고리즘 코어는 주로 매트릭스 계산을 기반으로 합니다( HPC 와 유사 ).대규모 벡터 검색 및 분석은 계산 과 메모리 의 이중 집중 작업 입니다. . 이것은 벡터 데이터베이스가 인프라로서 성능과 비용에 더 민감하다는 것을 의미합니다.
성능 관점에서 Zilliz Cloud는 QPS 및 쿼리 대기 시간 감소 측면 에서 다른 유사한 제품보다 훨씬 우수합니다 . 우리는 Zilliz Cloud , Milvus , Pinecone 및 ElasticCloud 네 가지 공통 벡터 데이터베이스( ElasticCloud 는 엄밀히 말하면 벡터 데이터베이스가 아니지만 벡터 기능이 있으며 전통적인 텍스트 검색 분야에서 가장 광범위한 사용자를 보유하고 있습니다. 벡터 검색을 지원하는 데이터베이스. 대표)는 동일한 리소스 및 6 개의 벡터 쿼리 작업 세트 의 동일한 조건에서 비교되었습니다 (테스트 프레임워크는 오픈 소스입니다. 자세한 내용은 VectorDBBench , Leaderboard 참조 ).
비교 결과는 다음과 같습니다.
쿼리 처리량 측면에서 질리즈 클라우드는 쿼리 작업의 6 개 그룹 모두에서 북미 벤치마크 벡터 데이터베이스인 Pinecone을 완전히 능가했으며 전체 성능은 평균 2 배 이상이었습니다 . 동시에 Milvus 와 비교하여 Zilliz Cloud는 성능이 거의 두 배로 향상되어 인상적입니다. 기존 텍스트 검색 서비스의 대표주자인 ElasticCloud의 벡터 쿼리 기능은 주로 보조 기능으로, 이 6개 쿼리 작업 의 QPS는 모두 50 미만입니다 .
쿼리 대기 시간 측면에서 Zilliz Cloud 는 전체 10ms 미만 , Milvus 는 전체 20ms 미만 , Pinecone 은 20-40ms 사이 이며 ElasticCloud 는 크게 다릅니다.
가성비 측면에서는 주로 Queries per dollar( 높은 동시성에서 단가로 지원할 수 있는 쿼리 요청 수 ) 를 살펴봅니다 . Pinecone 및 Elastic 과 비교할 때 Zilliz Cloud는 분명한 이점이 있습니다. 두 번째로 순위가 높은 솔방울 과 비교할 때 지표는 최대 1 배 더 높을 수 있으며 ( Q1, Q2 ) 일반적으로 나머지 4개의 작업 그룹에서 약 3 배 더 높을 수 있습니다. ( Milvus 는 오픈소스 솔루션이기 때문에 동일한 기준의 상용 서비스와 비교하기 어려우므로 이번 테스트 그룹에서는 제외하였습니다.)
검은 기술의 축복으로 소프트웨어와 하드웨어의 성능이 급증했고 새로운 커널이 완전히 작동했습니다.
Zilliz Cloud는 상용 엔진을 사용하며, 그 종합적인 성능은 Milvus 오픈 소스 엔진 의 2배 이상입니다 . 엔진은 일반적인 시나리오에 대해 깊이 최적화되어 있으며 성능을 3-5 배 향상시킬 수 있습니다.
하드웨어 수준에서 Zilliz는 Nvidia 및 Intel과 같은 1차 하드웨어 제조업체와 장기적이고 안정적인 협력 관계를 유지하고 있으며 벡터 알고리즘 커널은 X86 , ARM 및 GPU 에 맞게 최적화되어 있습니다.
소프트웨어 수준에서 Zilliz Cloud는 Autoindex 스마트 인덱스를 출시했습니다 . 스마트 인덱스는 사용자의 벡터 차원, 데이터 크기, 데이터 분포 및 쿼리 특성을 기반으로 지속적인 자동 튜닝을 수행하여 사용자 인덱스 유형 선택 및 매개 변수 튜닝의 수고를 없앱니다. Zilliz의 내부 테스트 에 따르면 autoindex 지능형 인덱스는 벡터 데이터베이스 전문가의 수동 튜닝 효과의 84% 에 도달하여 사용자의 평균 수준을 크게 초과했습니다. 다음 단계에서는 자동 인덱스 스마트 인덱스의 기능이 크게 향상되며 사용자는 최적화를 위해 호출을 지정하여 지정된 쿼리 정확도의 최적 지점에서 인덱스가 실행되도록 할 수 있습니다.
물론 최근 인기 있는 AIGC 애플리케이션을 위해 Zilliz Cloud는 다음과 같은 특수 기능 지원도 시작했습니다 .
• AIGC 반복 요구 에 따라 벡터 기능 또는 레이블 필드를 유연하게 확장할 수 있는 동적 스키마 .
• Partition Key 는 AIGC를 지원하여 다중 사용자 지식 기반을 적용하는 강력한 도구로 , 단일 테이블 구축 체계와 비교하여 전체 비용을 2~3 배 줄일 수 있습니다.
• JSON 과 임베딩 벡터를 기반으로 하이브리드 데이터 표현과 복잡한 비즈니스 로직을 실현하기 위해 JSON 과 임베딩을 결합 할 수 있는 JSON 유형을 지원합니다 .
"CAP" 불가능한 삼각형을 깨고 사용자에게 유연한 선택 제공
벡터 데이터베이스 기술의 발전은 지금까지 완벽하지 않았으며, 일반적으로 비즈니스는 비용( Cost ), 쿼리 효과 및 정확도(Accuracy ) , 쿼리 성능( Performance ) 사이의 trade-off 즉, CAP 문제 벡터 데이터베이스의 현재 CAP 는 불가능한 삼각형이며 Zilliz 의 솔루션은 일반적인 위치에서 로컬 최적의 솔루션을 제공하고 사용자에게 유연한 선택을 제공하는 것입니다.
실제로 사용자의 일반적인 시나리오는 성능 요구, 용량 요구 및 비용에 민감한 것으로 요약할 수 있습니다. 이를 위해 Zilliz Cloud는 벡터 데이터베이스 인스턴스에서 성능 유형, 용량 유형 및 경제 유형의 세 가지 유형의 지원을 제공합니다 . 서로 다른 인스턴스 유형은 서로 다른 알고리즘과 하드웨어 리소스로 구성되며 서로 다른 비즈니스 시나리오에 적합합니다.
• 성능 인스턴스는 낮은 대기 시간과 높은 처리량이 필요한 벡터 유사성 검색 시나리오에 적합하며, 이러한 유형의 인스턴스는 밀리초 수준의 응답을 보장할 수 있습니다.
성능 인스턴스에 적용할 수 있는 시나리오에는 생성 AI , 추천 시스템, 검색 엔진, 챗봇, 콘텐츠 검토, LLM 으로 강화된 지식 기반 및 재무 위험 제어가 포함되지만 이에 국한되지 않습니다 .
• 용량 인스턴스는 성능 인스턴스보다 5 배 의 데이터를 지원할 수 있지만 쿼리 지연이 약간 증가하므로 많은 양의 저장 공간이 필요한 시나리오, 특히 수천만 개의 데이터를 처리해야 하는 시나리오에 적합합니다. 벡터 데이터.
용량 기반 인스턴스에 적용 가능한 시나리오에는 대규모 비정형 데이터(예: 텍스트, 이미지, 오디오, 비디오, 약물의 화학 구조 등) 검색, 침해 감지 및 생체 인증이 포함되지만 이에 국한되지 않습니다.
• 경제형 인스턴스는 용량형 인스턴스와 동일한 데이터 규모를 지원할 수 있지만 가격은 약 30 % 할인되고 성능은 약간 떨어지며 높은 가성비를 추구하거나 예산에 민감한 시나리오에 적합하다.
경제적인 인스턴스에 적용할 수 있는 시나리오에는 데이터 레이블링 또는 데이터 클러스터링, 데이터 중복 제거, 데이터 이상 탐지 및 교육 세트 유형의 균형 잡힌 배포가 포함되지만 이에 국한되지 않습니다.
대형 모델 및 구조화되지 않은 데이터 처리의 전체 생태학적 범위 지원
어떤 시스템도 사용자의 모든 비즈니스 요구를 충족할 수 없으며 벡터 데이터베이스도 마찬가지입니다. 벡터 데이터베이스가 지원하는 비즈니스에서는 종종 다음과 같은 여러 프로세스를 처리해야 합니다.
• 제목 임베딩 , 콘텐츠 단락 임베딩 , 기본 및 보조 주제, 텍스트 데이터의 읽기 시간 분류와 같은 비즈니스 데이터의 의미론적 구조화;
• 최상의 결과를 가져올 수 있는 임베딩 모델 선택 찾기와 같은 종단간 효과를 위한 모델 선택 ;
• 모델과 벡터 데이터베이스의 통합(예: 벡터 데이터베이스 쿼리 및 후속 LLM 요약에 의해 구동되는 원래 데이터의 호출 또는 호출된 콘텐츠의 재구성 등).
애플리케이션 구축 비용을 더욱 줄이고 표준화된 구성 요소를 제공하기 위해 Zilliz Cloud는 개발자에게 이중 지원을 제공합니다.
• 대형 모델 생태 도킹. 2023년 3월 Zilliz 는 OpenAI 의 첫 번째 벡터 데이터베이스 파트너 로서 Milvus 와 Zilliz Cloud 의 플러그인 통합을 완료 하고 공식 권장 벡터 데이터베이스 플러그인 목록에 포함되었습니다. 뿐만 아니라 Zilliz는 LangChain , Cohere , LlamaIndex , Auto-GPT , BabyAGI 등과 같은 인기 있는 프로젝트 와 긴밀하게 통합되어 있습니다 . 또한, Wenxin Yiyan, Tongyi Qianwen, Zhipu AI , MiniMax , 360 Zhinao 등 국내 대형 모델과의 도킹 작업이 진행 중이며, 가까운 시일 내에 더 많은 결과가 공개될 예정이다.
• 구조화되지 않은 데이터에 대한 처리 파이프라인. Zilliz Cloud는 오픈 소스 Towhee 도구 프레임워크를 제공합니다. 개발자는 Spark와 유사한 연산자 구문을 사용하여 친숙한 Python 환경에서 자체 파이프라인을 작성 하고 텍스트, 그림, 오디오, 비디오 및 복합 구조와 같은 비정형 데이터에 대한 ETL 프로세스를 쉽게 처리할 수 있습니다. Towhee는 또한 자동화된 오케스트레이션 도구를 제공합니다 .Python 환경에서 원 클릭으로 검증된 파이프라인은 Triton , TensorRT , ONNX 및 일련의 하드웨어 가속 알고리즘을 기반으로 서비스 이미지 로 구성되며 텍스트 근사 검색, 지능형 질문 답변, 및 지식 기반. 물론 Towhee는 고도로 최적화된 표준 파이프라인도 제공합니다.
현재 질리즈 클라우드는 SaaS 와 PaaS 서비스를 제공하고 있는데 , 그 중 SaaS 는 AWS , GCP , 알리바바 클라우드를, PaaS 는 AWS , GCP , 애저 , 알리바바 클라우드, 바이두 스마트 클라우드, 텐센트 클라우드, 킹소프트 클라우드를 다루고 있다 . 국내 공식 홈페이지 동시 오픈 하였으며, 자세한 사항 및 사례는 Https://zilliz.com.cn (해외 공식 홈페이지 및 클라우드 서비스 입장: Https://zilliz.com )에서 확인하시기 바랍니다.
업계에서 모범 사례의 연마를 가속화하기 위해 우리는 " AIGC 시대 의 CVP 실무 스타 찾기" 특별 이벤트를 시작하려고 합니다. Zilliz는 응용 시나리오를 선택하기 위해 국내 주요 대형 모델 제조업체와 협력할 것입니다. 양 당사자는 벡터 데이터베이스 및 대규모 모델을 제공합니다 사용자 권한 부여를 위한 최고의 기술 전문가, 함께 응용 프로그램을 연마하고 랜딩 효과를 개선하며 비즈니스 자체에 권한을 부여합니다. 귀하의 응용 프로그램이 CVP 프레임워크 에도 적합 하고 응용 프로그램의 구현 및 실제 효과에 대해 걱정하는 경우 활동에 직접 지원하여 가장 전문적인 도움과 지도를 받을 수 있습니다. (참고: CVP는 C가 ChatGPT 로 표시되는 LLM 을 의미 하고 V 는 Vector DB를 의미 하고 P 는 Prompt Engineering을 의미합니다 . 연락처 정보는 [email protected]을 참조하세요 .)
2023년 중반까지 AGI 와 LLM 의 등장 으로 대형 모델 상륙을 향한 길 탐색에 박차를 가하는 것이 임박했다. 업계의 높은 합의는 AI 특이점의 도래를 주도하고 있으며 대형 모델은 엔터프라이즈급 애플리케이션을 재구성하고 인공 지능 산업의 발전 방향을 재구성할 것입니다. 질리즈는 앞으로도 다양한 산업의 지능적 진화를 목표로 벡터 데이터베이스 산업 발전의 최전선에 집중하고, 대기업과 개발자들에게 가장 경쟁력 있는 '대형 모델 메모리'를 제공할 것이라고 말했다 . 모델 시대 .