데이터 중심 AI 기술: 기업의 신속한 변화와 업그레이드를 지원하는 방법

오픈소스 중국 커뮤니티 팀이 공유라는 이름으로 오픈소스 중국 커뮤니티의 뒷이야기를 전하는 첫 생방송을 진행했습니다."

먼 선사시대, 우리 조상들은 화전농업을 통해 자연과의 대화를 시작했고, 인류 문명 발전의 중요한 초석인 도구의 탄생도 알렸습니다.

단순해 보이지만 광범위한 존재인 도구는 탄생부터 인류의 운명과 긴밀하게 연결되어 왔습니다. 초기의 석기, 나무막대기부터 후기 청동기, 철기, 그리고 오늘날의 첨단 제품에 이르기까지 도구의 모든 진화는 인간 생산성의 도약을 의미하고 사회 문명의 진보를 촉진합니다. 그것은 인간 손의 연장일 뿐만 아니라 지혜의 결정체이자 자연을 정복하고 세상을 변화시키는 무기이다.

AI 도구: 신속한 기업 개발을 위한 강력한 도구

현재를 돌이켜보면 AI는 기술계의 빛나는 별이 되었습니다. IT, 인터넷 및 기타 분야가 이를 수용했습니다. AI 기반 애플리케이션은 비가 내린 뒤 버섯처럼 솟아오르고 있습니다. 요즘에는 APP가 점점 더 커지고 있습니다. 점점 더 "똑똑"해집니다!

그러나 많은 전통 산업의 경우 AI를 일상 비즈니스에 통합하는 것은 기술적 한계가 높으며 장면 통합에 대한 심층적인 탐구가 필요합니다. 따라서 그들은 사용하기 쉽고 효율적이며 실용적인 AI 도구를 얻기 위해 더 열심입니다.

Chen Xiaojian, Amazon 클라우드 기술 중화권 제품 부서 총괄 관리자

"Amazon Cloud Technology의 데이터베이스 구축에 대한 세 가지 핵심 기능은 기본 모델 훈련부터 생성적 AI 애플리케이션 구축에 이르기까지 중요한 시나리오를 다루며, 이를 통해 기업은 대규모 멀티모달 데이터를 쉽게 처리하고 기본 모델 기능을 향상시킬 수 있습니다. 현재 Amazon Cloud Technology는 개발 중입니다. 다양한 산업 분야의 모든 규모의 기업이 강력한 데이터베이스를 구축할 수 있도록 지원하는 동시에 사용자 비즈니스 및 데이터의 보안을 보장하고, 기본 모델 및 생성적 AI 애플리케이션에 데이터의 고유한 가치를 할당하여 기업 비즈니스 성장을 가속화합니다." AI에 대해 이야기합니다. 결합 Amazon Cloud Technology Greater China Product Department의 총괄 관리자인 Chen Xiaojian이 엔터프라이즈 애플리케이션을 통해 이러한 해석을 내놓았습니다.

분명히 데이터 기반 외에도 기업은 AI의 힘을 활용하여 비즈니스 개발을 촉진하기 위해 자체 애플리케이션 시나리오를 기반으로 적절한 AI 도구를 선택해야 합니다. Perplexity는 기존 검색, 고객 데이터, 대규모 언어 모델의 추론 및 텍스트 변환 기능을 혼합하여 고유한 가치를 창출하는 회사의 예입니다. 이 회사는 2022년 12월 출시된 이후 세계 최초의 대화형 답변 엔진을 구축하고 있으며, 웹사이트와 모바일 애플리케이션은 빠르게 사용자들의 호응을 얻어 월간 활성 사용자 수 1,000만 명에 도달하고 11월에만 조회수 5,300만 건을 기록했습니다. 이러한 급속한 성장은 전통적인 마케팅 방법으로는 비교할 수 없습니다.

다양한 애플리케이션 시나리오를 처리하는 세 가지 방법

Chen Xiaojian은 다음과 같이 말했습니다. 기업의 자체 데이터를 생성 AI 애플리케이션에 통합하는 방법을 탐색하면서 우리는 검색 증강 생성(RAG), 미세 조정, 대규모 언어 모델과 데이터를 결합할 수 있는 지속적인 사전 훈련이라는 세 가지 방법을 발견했습니다. 사업 성과를 향상시키기 위해.

생성적 AI에서 고품질 출력은 많은 양의 상황별 정보에 의존하는 경우가 많습니다. 기업은 자체 지식 기반(예: 데이터베이스 또는 기타 지식 문서)을 생성 AI와 결합하여 상향 검색 및 기타 방법을 통해 대규모 언어 모델에 대한 보조 기능을 제공할 수 있습니다. 이 접근 방식은 비교적 간단하며 많은 기업에서 이미 이 접근 방식을 사용하여 애플리케이션을 구축하고 있습니다. 이것이 검색 증강 생성(RAG)입니다.

미세 조정 기술에는 특정 작업에 대한 모델 성능을 향상시키는 것을 목표로 특정 대상 작업과 관련된 데이터를 사용하여 모델을 추가로 훈련하는 작업이 포함됩니다. 미세 조정의 어려움은 사전 훈련과 RAG(검색 증강 생성) 사이에 있습니다. 문자 이해, 입력 내용 분석, 출력 형식 제어 등 다양한 시나리오에 적합합니다.

지속적인 사전 훈련은 임계값이 높고 많은 양의 데이터가 필요합니다. 기업은 비즈니스 변화에 적응하기 위해 일상 업무에서 생성되는 데이터를 대규모 모델에 지속적으로 입력하여 교육해야 합니다. 훈련 환경을 처음부터 구축하는 대신 기존의 대규모 모델을 기반으로 지속적인 사전 훈련을 실시합니다.

Amazon Cloud Technology의 Amazon Bedrock 제품은 많은 고객이 비즈니스 환경에서 맞춤형 대형 모델을 교육하는 데 사용하는 세 가지 핵심 기능을 구현했습니다. 모델에 집중한다는 것은 비즈니스 결과에 집중한다는 것을 의미하며, 탄탄한 데이터 기반이 성공의 열쇠입니다. 따라서 Amazon Cloud Technology는 데이터도 모델도 없다는 중요한 관점을 가지고 있습니다.

AI 애플리케이션의 초석: 데이터 스토리지

AI 시대에 스토리지 솔루션은 대용량 데이터를 전달할 뿐만 아니라 충분한 성능을 제공하고 비용을 통제할 수 있어야 함을 알 수 있다. 다중 모드 모델의 인기로 인해 데이터 유형의 규모와 모양이 크게 다르므로 강력한 데이터 저장 기능이 필요합니다.

Chen Xiaojian은 Amazon S3가 Amazon Cloud Technology에서 출시한 최초의 데이터 스토리지 클라우드 서비스라고 말했습니다. 기본 모델의 미세 조정이나 사전 훈련을 위한 데이터 저장 요구 사항을 완벽하게 충족하는 플랫폼으로 발전했습니다. Amazon S3는 200조 개가 넘는 객체를 보유하고 초당 1억 개가 넘는 요청을 처리합니다. 또한 데이터 보안 및 법적 사용을 보장하기 위해 세분화된 제어, 규정 준수 감사 기능 및 수명주기 관리 기능을 제공합니다. Amazon S3는 또한 데이터 레이크 구축을 위한 이상적인 선택입니다. Amazon 클라우드 기술에는 200,000개 이상의 데이터 레이크 애플리케이션이 있습니다.

Amazon S3는 효율적이고 경제적인 대규모 데이터 분석을 지원할 수 있으며, 인공 지능, 기계 학습, 고성능 컴퓨팅 등 다양한 애플리케이션 시나리오에 적합합니다. 제너레이티브 AI 시대에는 데이터 저장과 처리 성능에 대한 수요가 늘어나고 있다. 이러한 요구를 충족하기 위해 Amazon Cloud Technology는 10밀리초 미만의 빠른 액세스를 지원하는 새로운 서비스인 Amazon S3 Express One Zone도 출시했습니다.

AI 시대, 서버리스 아키텍처로 기업의 빠른 성장 지원

현대 데이터 처리 환경에서 관계형 데이터베이스는 벡터 검색 기능을 위한 하나의 옵션일 뿐입니다. 검색 기능이 널리 적용되면서 관계형 데이터베이스, 키-값 데이터베이스, 그래프 데이터베이스, 문서 데이터베이스 등 다양한 유형의 데이터베이스가 해당 분야에서 중요한 역할을 하고 있습니다. 그러나 벡터 검색의 경우, 특히 완전히 새로운 벡터 데이터베이스를 도입하면 학습 비용, 새로운 리소스 구성 비용, 데이터 마이그레이션의 복잡성이 발생할 수 있습니다.

현재 관찰에 따르면 많은 고객은 완전히 새로운 데이터베이스 시스템을 도입하는 것보다 벡터 검색 기능을 기존 데이터베이스에 통합하는 것을 선호합니다. 이를 통해 추가 학습 비용, 마이그레이션 비용 및 라이센스 비용을 피할 수 있다는 이점이 있습니다. 동시에 중앙 집중식 데이터 저장 및 관리는 응답 시간을 단축하고 성능을 향상시키는 데 도움이 됩니다.

특히 GenAI(생성인공지능) 시대에는 빠른 출시와 시장점유가 많은 기업들의 주요 목표가 되었습니다. 따라서 다양한 데이터베이스에 대한 벡터 검색 기능을 제공하는 것이 특히 중요해졌습니다. 이는 고객의 성능 요구 사항을 충족할 뿐만 아니라 통합 관리 및 효율적인 데이터 검색을 보장합니다.

또한 신속한 개발 및 배포에 대한 요구가 증가함에 따라 유연성과 비용 효율성으로 인해 서버리스(서버리스) 아키텍처 솔루션이 선호됩니다. 운영 및 유지 관리나 DBA 업무를 전담하는 인력이 없는 기업의 경우 서버리스 솔루션은 향후 성능 요구 사항을 예측하거나 지루한 운영 및 유지 관리 작업을 수행할 필요가 없습니다. 업무량이 많은 기간에는 수요에 맞게 자동으로 확장할 수 있으며 업무가 유휴 상태일 때는 자원을 자동으로 재활용하여 비용을 절감할 수 있습니다.

따라서 현재 단계의 고객에게는 다양한 데이터베이스에 대한 벡터 검색 기능과 서버리스 기능을 제공하는 것이 신속한 개발 및 배포 요구 사항을 충족하는 열쇠입니다. 이를 통해 데이터 처리 효율성을 향상시킬 수 있을 뿐만 아니라 운영 및 유지 관리 비용과 복잡성을 줄여 기업이 치열한 경쟁 시장에서 우위를 점할 수 있습니다.

AI 애플리케이션 구현 측면에서 Amazon Music은 첨단 기술을 사용하여 사용자와 노래의 특성을 분석하고 이 정보를 벡터로 변환하여 음악 추천의 정확성을 향상시킵니다. Amazon Music은 Amazon OpenSearch를 사용하여 1억 곡의 노래를 벡터로 성공적으로 변환하고 이를 인덱싱하여 전 세계 사용자에게 실시간 음악 추천 서비스를 제공했습니다.

현재 Amazon Music은 Amazon OpenSearch에서 10억 5천만 개의 벡터를 유지 관리하고 초당 최대 7,100개의 쿼리를 처리할 수 있는 능력을 갖추고 있어 추천 시스템의 운영을 효과적으로 지원하고 있습니다.

생성적 AI의 구축은 쉽지 않습니다. 플라이휠 구조에 가깝고 개발을 촉진하려면 긍정적인 순환이 필요합니다. 이를 달성하려면 기업은 여러 클라우드 서비스를 활용하여 견고한 데이터 기반을 구축해야 합니다. 이러한 방식으로 기업은 대규모 데이터를 기본 모델과 효율적이고 안전하게 결합하여 최종 고객의 요구 사항을 충족하고 더 많은 데이터를 생성하는 고유한 가치를 지닌 생성적 AI 애플리케이션을 만들 수 있습니다.

이러한 애플리케이션을 사용하면 새로운 데이터가 생성되어 모델의 정확도가 더욱 향상됩니다. 지속적인 미세 조정이나 사전 훈련을 통해 모델은 더욱 스마트해지고 업계 전문성을 높여 사용자에게 더 나은 경험을 제공할 수 있습니다. 이러한 긍정적인 피드백 메커니즘의 지속적인 루프는 기업에 지속적인 힘을 제공하고 비즈니스의 지속적인 성공을 촉진합니다.