전체 이벤트 리뷰를 보려면 클릭하세요: https://my.oschina.net/u/4489239/blog/11105657
5월 18일 심천 위안추앙 회의 미리보기로 이동하려면 클릭하세요: https://www.oschina.net/event/2332004
4월 20일, 우한에서 제102차 원창회의가 성공적으로 개최되었습니다. 이번 호에는 우한 인공지능연구소(Wuhan Artificial Intelligence Research Institute), Huawei, MindSpore, JD Cloud, Gitee AI의 인공지능 전문가들을 초청하여 [대형 모델 경쟁 및 성능 최적화]를 주제로 강연을 진행합니다.
JD Cloud의 제품 이사인 Yuan Lijiang은 "Inspiring the Future with Intelligence - Yanxi Large Model Platform"에 대한 기조 연설을 했습니다. Yuan Lijiang은 대규모 모델을 기업 수준에서 구현하는 데에는 실시간, 설명 가능성, 보안 및 제어 가능성, 복잡한 의사 결정, 전문성이라는 5가지 주요 과제가 있다고 소개했습니다. 구현의 핵심은 실시간으로 올바른 결정을 내리는 방법입니다. 불확실하고 역동적으로 변화하는 환경에서 구현합니다.
Yuan Lijiang은 대규모 모델을 구현하는 두 가지 주요 방법이 있다고 소개했는데, 그 중 하나는 Copilot 모델이며, AI는 인간이 주도하는 방식으로 일부 시나리오에서는 텍스트 콘텐츠 생성과 같은 작업을 완료합니다. 처리., Vincent Tu 등 실제로 기업 입장에서는 인력을 최대한 풀어줘야 한다. 다른 하나는 기업의 복잡한 시나리오에 더 적합한 에이전트 모드입니다. 이 모드에서 인간은 더 높은 차원의 관점에서 서서 인공 지능의 "멘토" 또는 "코치" 역할을 하며 목표를 설정하고 결과를 감독합니다. 대형 모델은 추론 능력을 발휘하고 적절한 도구와 변명을 사용하며 최종적으로 그에 따른 결과 피드백을 제공할 수 있습니다.
기업에서 대형 모델을 구현하는 데 사용되는 주요 기술도 변경되었습니다. 초기 Pre-train은 비용이 가장 많이 들고 막대한 투자가 이루어졌으며 나중에 SFT 모드의 비용은 감소했지만 검색을 기반으로 한 구현 효과는 좋지 않았습니다. 벡터 데이터베이스는 RAG 모드를 강화했지만 효과는 향상되었습니다. 지식 질문 및 답변 시나리오로만 제한될 수 있으며 결국 숙련된 기술 팀은 에이전트 모드에 더 많은 관심을 기울이고 다중 시나리오 지원을 달성할 수 있습니다.
JD.com의 금융 사업에서는 단순히 대형 모델 SFT나 LoRA에만 의존하여 대형 모델의 실질적인 문제 해결 능력을 향상시키는 것이 어렵습니다. 대신 에이전트 기술을 기반으로 기계를 사용하여 비즈니스 문제를 해결합니다. 구체적으로 에이전트를 사용하여 사용자 목표를 이해하고, 각 하위 작업을 분해하고, 각 하위 작업에 적합한 도구를 선택합니다. 이러한 도구는 JD.com 원래 비즈니스의 일부 인터페이스이며, 최종적으로 대규모 모델 기능과 결합되어 피드백을 제공합니다. . 이런 방식으로 일부 사용자의 복잡한 질문에 대한 답변이 더 정확해집니다.
현재 JD Yanxi의 전체 모델 플랫폼은 다층 제품 매트릭스를 구축했습니다. 가장 낮은 계층은 컴퓨팅 리소스, 스토리지 리소스, 고속 네트워크 및 리소스 스케줄링을 포함한 리소스 지원입니다. 모델 리소스 계층에서는 모델 관리 및 교육, 데이터 세트 처리, 모델 평가 및 배포와 같은 기능을 제공합니다. 모델 리소스 계층 위에는 다양한 도구의 통합에 중점을 둔 지능형 에이전트의 구성이 있습니다. 최상위 계층은 여러 엔터프라이즈 시나리오에 적응하는 애플리케이션 서비스 계층입니다.
JD Yanxi의 대형 모델 플랫폼에는 6가지 주요 기능이 있습니다. 컴퓨팅 리소스의 효율적인 관리 및 예약을 실현할 수 있는 리소스 예약 협업, 대규모 모델 개발 및 애플리케이션의 성능 최적화 및 비용 제어 보장, 대규모 모델 훈련에 대한 관리 및 지원 제공 사전 훈련, 미세 조정, 강화 학습, 평가 등이 효율적으로 수행됩니다. 대규모 모델을 통한 훈련 및 미세 조정을 통해 기업은 맞춤형 모델을 보유하여 정확성과 관련성을 높일 수 있습니다. 복잡한 작업을 수행하기 위해 기업의 기존 IT 시스템과 결합된 지능형 에이전트를 배포하여 모든 대형 모델 애플리케이션이 보안 표준과 법적 및 규제 요구 사항을 준수하도록 보장합니다. 지능형 애플리케이션 시장은 일련의 사전 구축된 대형 모델 애플리케이션을 제공합니다. 기업은 직접 배포하거나 플러그인을 제공하여 시스템에 대한 빠른 액세스를 제공할 수 있습니다.
QR 코드를 스캔하여 "Inspiring the Future——Yanxi 대형 모델 플랫폼" 연설 재생을 시청하세요⬇️
{{o.이름}}
{{이름}}