디지털 전환 과정에서 업데이트되고 반복적인 생산성 도구에 대한 기업의 요구를 충족하기 위해 Lingqueyun은 최근 기업이 AI 기술을 신속하게 구현하고 지능형 애플리케이션 및 서비스를 실현할 수 있도록 지원하는 클라우드 네이티브 MLOps 솔루션을 출시했습니다.
클라우드 네이티브 MLOps 솔루션을 구축해야 하는 이유는 무엇입니까?
정보 기술의 지속적인 발전으로 기업은 디지털 전환 과정에서 생산성 도구를 지속적으로 업데이트하고 반복해야 합니다. 초기부터 물리적 세계의 주요 비즈니스 데이터를 정보 기술로 대체하고 나중에 빅 데이터 플랫폼을 사용하여 전환해야 합니다. 데이터를 엔터프라이즈 데이터 자산으로 변환하고 이제 인공 지능 및 기계 학습 기술을 사용하여 데이터 자산을 모델 자산으로 변환하여 지능형 애플리케이션 및 서비스를 실현합니다.
이 진화 과정에서 AI 시대의 DevOps로서 MLOps는 없어서는 안 될 기본 플랫폼 기능이 되어 모델 개발, 교육, 배포, 관리에서 최적화에 이르기까지 기업에 전체 프로세스 지원을 제공하고 기업이 AI 구현 및 가치 창출 .
그러나 현재 시장에 나와 있는 대부분의 MLOps 오픈소스 도구는 복잡한 배포, 어려운 운영 및 유지 관리, 불완전한 기능, 열악한 사용성 등의 문제를 안고 있으며, 기업은 여전히 AI 기계 학습 기술을 구현하는 데 많은 어려움과 높은 비용에 직면해 있습니다. 이러한 문제를 해결하기 위해 클라우드 네이티브 분야의 선두 기업인 Lingqueyun은 최근 엔터프라이즈급 클라우드 네이티브 MLOps 솔루션과 오픈 소스 버전인 kubeflow-chart를 출시하여 기업의 문턱을 최소화하는 데 전념하고 있습니다. AI 기능을 적용하고 기업이 고효율, 저비용, 표준화 및 추적 가능한 AI 애플리케이션 개발 및 온라인 프로세스를 확보하여 기업이 클라우드 네이티브 기계 학습 기술을 신속하게 적용하고 효율적이고 안정적이며 확장 가능한 MLOps 플랫폼을 구축할 수 있도록 지원 .
오픈 소스 버전 kubeflow-chart: 클라우드 네이티브 도구 kubeflow의 어려운 배포 및 사용 어려움 해결
Lingqueyun이 독자적으로 개발한 오픈 소스 MLOps 도구인 Kubeflow-chart는 쿠버네티스에 오픈 소스 Kubeflow를 배포하는 단계를 단순화하여 엔터프라이즈 연구, 배포, 운영 및 유지 관리, 애플리케이션 마이그레이션 및 적응 비용을 제거하고 비용을 크게 줄이는 것을 목표로 합니다. 엔터프라이즈 애플리케이션 Kubeflow 비용.
Kubeflow-chart는 Helm Chart를 사용하여 Kubeflow 설치 방법을 사용자 지정합니다. 명령(helm install)만 실행하면 Kubeflow 및 관련 구성 요소(예: dex, cert-manager, istio, knative-serving 등)의 설치가 쉽게 완료됩니다. ) .
또한 Kubeflow-chart는 미러 주소, 인증 구성 정보, 기본 계정, 종속 구성 요소 설치 스위치 등과 같은 공통 구성 항목 추출을 제공합니다. values.yaml 파일을 수정하여 다양한 Kubernetes 환경에 Kubeflow를 쉽게 배포할 수 있습니다. 동시에 values-cn.yaml 파일도 제공하여 국내 개발자들의 미러다운로드 고민을 해결해 줍니다. Kubeflow-chart를 사용하면 개발자가 Kubernetes에서 가장 인기 있는 기계 학습 소프트웨어를 쉽고 빠르게 배포, 학습, 사용 및 관리할 수 있습니다.
Alauda MLOps: 더 우수하고, 더 고급이며, 사용하기 쉽고, 더 강력합니다.
동시에 기업 사용자에게 보다 편리한 클라우드 네이티브 MLOps 경험을 제공하기 위해 Lingqueyun은 오픈 소스를 기반으로 보다 완전하고 고급이며 사용하기 쉽고 강력한 엔터프라이즈급 MLOps 솔루션 Alauda를 출시했습니다. Kubeflow-chart MLOps(이하 AML)의 버전입니다.
기존 오픈 소스 MLOps 솔루션과 비교할 때 AML은 다음과 같은 측면에서 상당한 이점이 있습니다.
1. 비간섭 개발 모드: 비간섭 시각적 워크플로 오케스트레이션 개발 환경을 지원하고 원래 프로젝트 코드를 수정하지 않고 MLOps 기능을 적용할 수 있습니다.
2. 시각적 배포: 시각적 워크플로 개발 시 다양한 형태의 분산형 트레이닝을 직접 구성합니다.
3. 다중 테넌시 및 할당량: ACP와 연결하여 시각적 다중 테넌트 리소스 할당량 관리(예: CPU, GPU, vGPU)를 실현합니다.
4. 가상 GPU: GPUManager에서 관리하는 가상 GPU 리소스를 지원합니다.
5. 스케줄러: Volcano를 사용하여 분산 교육 작업의 스케줄러를 강화하고 TFJob, PytorchJob, MPIJob 및 일반 Argo 워크플로우를 지원합니다.
6. 실험 추적: MLFlow를 통합하여 Kubeflow 실험 추적을 대체하고 시각적 실험 비교 기능을 제공합니다.
7. 데이터 주석: Label Studio를 통합하고 S3 스토리지와 연결하고 시각적 데이터 주석을 완성합니다.
8. SQL 교육: SQLFlow를 통합하고 SQL 언어를 사용하여 모델 교육 및 예측을 완료합니다.
9. 대형 모델: 데이터 스토리지, 분산 교육 및 모델 스토리지와 같은 MLOps의 주요 측면에서 대형 모델의 스토리지 및 리콜을 지원합니다.
10. 중국어 인터페이스: 중국어 인터페이스 지원을 제공합니다.
11. 국내 하드웨어 지원: 다양한 국내 CPU 및 일부 국내 GPU의 arm64 아키텍처를 지원합니다.
12. 사례 자습서: 빠르게 시작하는 데 도움이 되는 많은 내장 중국어 사례 및 자습서 노트북이 있습니다.
13. 고성능: Intel TensorFlow, NeralCompressor, GPUManager, Triton 및 기타 도구가 내장되어 교육 및 추론 성능을 최대한 발휘합니다.
14. 고가용성: 플랫폼 및 게시된 추론 서비스의 고가용성을 지원합니다.
AML은 데이터 세트 관리, 기계 학습 개발, 모델 훈련 및 모델/추론 서비스의 네 가지 기능 모듈을 다루며, 전통적인 데이터 마이닝 기계 학습, 딥 러닝, 초대형 언어 모델, 대화 AI 및 기타 응용 방향에 상관없이 장점을 최대한 발휘할 수 있습니다.강력한 기능.
Lingqueyun이 출시한 클라우드 네이티브 MLOps 솔루션은 기업이 신속한 AI 구현과 가치 창출을 실현할 수 있도록 전체 프로세스 지원 플랫폼을 제공할 것입니다. Kubeflow의 배포를 단순화하고 싶든, 보다 완전하고 고급이며 사용하기 쉽고 강력한 MLOps 기능을 추구하든 관계없이 Lingqueyun은 없어서는 안 될 파트너가 될 것입니다.