새로운 Zhiyuan 보고서
편집자: 편집부[Xinzhiyuan 소개] Nvidia는 다시 전략을 확대했습니다. 이번에는 슈퍼 GPU GH200을 직접 사용하여 시장을 폭발시켰습니다.
오늘 COMPUTEX 컨퍼런스에서 Nvidia CEO Huang Renxun은 생성 AI의 전환점에 도달했다고 전 세계에 발표했습니다. 그때부터 전 세계 모든 곳에서 컴퓨팅이 필요하게 될 것입니다. 주가가 2000억 달러 급등한 Nvidia는 이미 이 순간을 준비하고 있습니다. 처음에는 검은색 가죽을 입은 Lao Huang이 "여러분 안녕하세요! 우리가 돌아왔습니다! " 라며 열정적으로 무대에 올라섰고 , 빅 킬러인 '슈퍼 GPU' GH200을 꺼내들며 구글 클라우드, 메타, Microsoft는 GH200을 처음으로 얻을 것입니다.
3,500명 이상이 현장을 찾아와 2 시간 동안의 이 열정적인 연설을 체험했다고 한다.
4년 만에 오랜만에 떨어져 지내는 라오황도 중국어를 유창하게 한다.
"슈퍼 칩" GH200
이 "슈퍼 GPU"는 NVLink-c2c 상호 연결 기술을 사용하여 ARM 기반 에너지 절약형 Grace CPU와 고성능 NVIDIA H100 Tensor Core GPU를 결합하여 최대 900GB/s의 총 대역폭을 제공합니다.
현재 400개 이상의 시스템 구성이 GH200이 지원하는 시스템에 추가되었습니다.
이러한 시스템 구성은 Nvidia의 최신 CPU, GPU 및 DPU 아키텍처의 다양한 조합으로 구동됩니다.
여기에는 Grace, Hopper, Ada Lovelace 및 BlueField가 포함되며, 생성 AI에 대한 증가하는 수요를 충족하기 위해 만들어진 아키텍처입니다.
또한 Lao Huang은 더 중요한 사항도 발표했습니다. 256개의 GH200으로 구성된 슈퍼컴퓨터가 출시될 예정입니다.
올해 출시된 슈퍼컴퓨터 DGX GH200
Nvidia에 따르면 새로운 DGX GH200 인공 지능 슈퍼컴퓨팅 플랫폼은 대규모 생성 AI 부하를 위해 설계되었습니다. 256개의 Grace Hopper 슈퍼 칩으로 구성된 이 슈퍼 컴퓨터는 최대 1엑사플롭과 144TB의 공유 메모리(이전 세대 DGX A100보다 거의 500배 이상)의 놀라운 AI 성능을 갖출 것입니다. 예를 들어 GPT-3 교육에서는 이전 세대 DGX H100 클러스터보다 2.2배 더 빠를 수 있습니다. 또한 이 거대 기업에는 150마일의 광섬유와 2,000개 이상의 팬이 있습니다. 현재 Nvidia는 Google, Meta 및 Microsoft의 세 거대 기업과 협력하고 있습니다.
생성 인공 지능의 폭발적인 성장으로 인해 Microsoft 및 Google과 같은 대기업은 더 강력하고 성능이 뛰어난 시스템을 원합니다.
DGX H200은 Nvidia의 맞춤형 NVLink 스위치 칩을 사용하여 InfiniBand 및 이더넷과 같은 표준 클러스터 연결의 제한을 우회하여 최대 워크로드의 대규모 확장성을 위해 최대 처리량을 제공하도록 설계되었습니다.
또한 엔비디아는 자체적으로 대규모 AI 슈퍼컴퓨터인 엔비디아 헬리오스를 구축하고 있으며 올해 가동될 예정이라고 밝혔습니다.
NVIDIA Quantum-2 InfiniBand 네트워크에 연결된 4개의 DGX GH200 시스템을 사용하여 대규모 AI 모델 훈련을 위한 데이터 처리량을 증가시킵니다.
과거에는 데이터 센터가 매우 크고 CPU 기반이었고 알고리즘 반복에 오랜 시간이 걸렸으며 대부분의 알고리즘도 CPU 중심이었습니다.
이제 Grace Hopper를 사용하면 며칠 또는 몇 시간 안에 프로세스를 완료할 수 있습니다. 그것은 전체 산업에 혁명을 일으킬 것입니다!
(잠깐, PaLM 540B의 파라미터가 아닌가?)
Lao Huang: 더 많이 살수록 더 많은 돈을 절약할 수 있습니다!
Lao Huang은 이런 제품을 많이 살수록 더 많이 절약한다고 말할 수 있다고 말했습니다.
다음으로 노황은 1964년 IBM 360을 언급하며 CPU의 중요성을 강조했다.
Lao Huang은 "60년이 지난 지금 데이터 센터가 있습니다. 오늘날 데이터 센터는 컴퓨터입니다."라고 자신 있게 반복했습니다.
Lao Huang이 말했듯이 새로운 컴퓨팅 모델이 만들어지고 있습니다.
GPU를 사용하는 것이 CPU를 사용하는 것보다 나은 이유는 무엇입니까?
Lao Huang은 구성에 대한 분석을 제공했습니다. 천만 달러의 비용으로 960개의 CPU가 있는 데이터 센터를 구축할 수 있지만 이 데이터 센터는 1X LMM(Large Language Model) 데이터 볼륨을 처리하는 데 11GWh의 전력이 필요합니다.
그러나 같은 비용으로 48개의 GPU가 장착된 데이터 센터를 구축할 수 있지만 3.2GWh의 전력 소비만 필요하고 44X LLM 데이터 볼륨을 처리할 수 있습니다.
알다시피, 그러한 구성은 충분히 놀랍습니다. 그러나 이것만으로는 충분하지 않습니다.
최고의 성능을 얻으려면 동일한 전력 소비로 GPU 수를 172개로 직접 늘릴 수 있습니다.
이때 컴퓨팅 파워는 CPU 데이터센터의 150배까지 높아질 수 있다. 물론 예산도 3400만 달러로 늘렸다.
또한 당면한 작업(1X LLM)을 완료하려는 경우 Lao Huang도 비용 절감에 도움을 줄 것입니다. 단돈 400,000달러에 2개의 GPU가 장착된
데이터 센터를 구입할 수 있습니다. 전력 소비는 0.13에 불과합니다. GWh.
청중의 박수 소리가 났고 Lao Huang은 "더 많이 살수록 더 많이 절약합니다"라는 만트라를 꺼내 세 번 반복했습니다.
이것의 뒤에 전략은 무엇입니까? Lao Huang은 공식을 제시했습니다.
MGX: 모듈식 아키텍처
동시에 Huang은 시스템 제조업체가 100개 이상의 서버 변형을 빠르고 비용 효율적으로 구축할 수 있는 참조 아키텍처인 NVIDIA MGXTM도 출시했습니다. 이 사양은 개발 비용을 최대 3/4까지 절감하고 개발 시간을 2/3로 단축하여 6개월에 불과하다고 합니다. MGX를 사용하여 기술 회사는 서버의 가속 컴퓨팅을 위한 기본 시스템 아키텍처를 최적화한 다음 자체 GPU, DPU 및 CPU를 선택할 수 있습니다. MGX는 또한 클라우드 및 엔터프라이즈 데이터 센터에 쉽게 통합될 수 있습니다.
하드웨어 외에도 MGX는 개발자와 기업이 AI, HPC 및 기타 애플리케이션을 구축하고 가속화할 수 있도록 하는 NVIDIA의 전체 소프트웨어 스택에서도 지원됩니다.
여기에는 엔비디아 AI 플랫폼의 소프트웨어 계층인 엔비디아 AI 엔터프라이즈(NVIDIA AI Enterprise)가 포함되며, 엔비디아 AI 엔터프라이즈는 100개 이상의 프레임워크, 사전 훈련된 모델, AI 및 데이터 사이언스를 가속화하는 개발 도구를 갖추고 있으며 엔터프라이즈 AI 개발 및 배포를 완벽하게 지원합니다.
AI를 게임에 도입, 실시간 음성 채팅이 가능한 NPC 캐릭터 등장
이번 강연의 하이라이트는 새로운 맞춤형 AI 모델 파운드리 서비스인 Avatar Cloud Engine(ACE) for Game입니다. 현장에서 Lao Huang은 오른손에 RTX 4060 Ti를, 왼손에 컴퓨터를 들고 실시간 레이 트레이싱을 실행하는 Cyberpunk 2077을 시연했습니다. '사이버펑크' 풍의 라면집 현장에서 플레이어는 버튼을 눌러 자신의 목소리로 말을 하고, 주인인 진이 대답한다. 진은 NPC 캐릭터이지만 그의 반응은 플레이어의 음성 입력을 기반으로 하는 생성 AI에 의해 실시간으로 생성됩니다. 진은 또한 플레이어의 어조와 배경 이야기와 일치하는 사실적인 얼굴 애니메이션과 목소리를 가지고 있습니다.
이 사실적인 캐릭터의 생성은 실시간 인공 지능 모델 렌더링 도구인 Nvidia Ace를 사용합니다.
Lao Huang은 이 게임의 캐릭터가 미리 설정되어 있지 않다고 말했습니다. 그들은 전형적인 퀘스트 제공자 NPC 유형을 가지고 있습니다.
하지만 영상을 보면 아바타의 대화가 약간 부자연스럽긴 하지만 심하지는 않은 것을 알 수 있다.
AI 전문 지식이 없는 사람들은 뒤쳐질 것입니다
40년 동안 우리는 PC, 인터넷, 모바일, 클라우드를 만들었고 지금은 인공지능의 시대입니다. 무엇을 만들 것인가 그것이 무엇이든 우리가 한 것처럼 그것을 쫓으십시오. 뛰는 것이 아니라 걷는 것. 당신은 음식을 위해 도망치거나, 당신 자신이 탈출하여 음식이 되도록 허용합니다.
5월 27일, 황런순은 국립대만대학에서 졸업연설을 했다.
지금 이 순간에도 전 세계인의 이목이 집중되고 있다.
순식간에 조조의 주인으로 변신해 그의 말을 더욱 담담하게 만들었다.
Huang Renxun은 모든 회사와 개인이 인공 지능에 익숙해져야 하며 그렇지 않으면 실패할 위험이 있다고 말했습니다.
그는 민첩한 기업은 인공 지능을 사용하여 지위를 향상시킬 것이며 그러한 기업은 파산하지 않을 것이라고 강조했습니다.
많은 사람들이 AI가 일자리를 앗아갈 것이라고 걱정하지만 실제로 일자리를 앗아가는 사람은 AI 기술을 마스터한 사람들입니다.
당시 그는 연설에서 “AI의 번영은 모든 면에서 컴퓨터 산업의 재생을 위한 기회”라고 예측했다. 향후 10년 동안 우리 업계는 수조 달러 규모의 기존 컴퓨터를 새로운 AI 컴퓨터로 대체할 것입니다.
오늘 연설에서 우리는 이 미래의 원형을 엿본 것 같습니다.