[번역] DeepSpeed: 누구나 사용할 수 있는 초대형 모델 훈련 도구 - 코드 세계

[번역] DeepSpeed: 누구나 사용할 수 있는 초대형 모델 훈련 도구

발 2023-09-10 00:15:32 독서 시간: null

NoSuchKey

추천

출처blog.csdn.net/chaishen10000/article/details/131304237

[번역] DeepSpeed: 누구나 사용할 수 있는 초대형 모델 훈련 도구

승리 BERT! NLP는 도구를-훈련 사전 : 작은 모델도 높은 정밀도를 가지고, 하나의 GPU는 기차 수있을 것입니다

LLM: LLaMA Efficient Tuning([전체 매개변수/LoRA/QLoRA] 주류 대형 모델[ChatGLM2/LLaMA2/Baichuan 등)을 효율적으로 미세 조정할 수 있는 효율적인 도구 [사전 훈련 + 지시 감독 미세 조정 +

국내 법률 AI 모델, 미래에는 누구나 AI를 변호사로 고용할 수 있다

Google: 대형 모델은 나올 수 있는 능력이 있을 뿐만 아니라 오랜 훈련 시간 후에 "이해"할 수 있는 능력도 있습니다!

문제 해결이 어렵나요? xpu_timer를 사용하면 막다른 골목 없이 대형 모델을 훈련할 수 있습니다!

구급대원이 사용할 수 있는 인공지능 모델

메모리 누수를 감지 할 수는 FFmpeg 진단 도구 대 사용

누구나 사용할 수 있는 AI 프로그래밍 도우미 CodeGeeX

[깊이 연구] Pytorch 학습 (II) - 연습 torch.nn : (사용할 수있는 멀티 GPU CPU 부하 예측 훈련 포함) 분류를 훈련

Pytorch - Pytorch를 사용하여 맞춤형 딥 러닝 네트워크를 구축하고 훈련하는 방법(데이터 세트 사용자 정의 및 로딩, 모델 훈련, 모델 테스트, 모델 저장 및 로딩)을 하나의 문서로 이해합니다.

복단대학교, 저메모리 최적화 기술 LOMO 공개 | 대형 모델 훈련의 메모리 사용량을 10.8%로 줄여 DeepSpeed보다 훨씬 앞서 있습니다!

단 5초의 영상으로 3D 모델을 생성할 수 있는 AI 도구 - Luma AI

누구나 chatgpt를 사용하여 소규모 프로젝트를 개발할 수 있습니다.

Pan Jianwei는 양자 얽힘 분야에서 새로운 돌파구를 마련했고 Tesla는 Xiaomi의 지주 회사를 고소했으며 WPS AI는 대중에게 공개되었으며 Tencent는 Hunyuan丨Daily 이벤트의 대형 모델을 출시할 수도 있습니다...

PSP - AlphaFold2 Multimer의 모델 훈련 매개변수 구성

LLM의 Chinese-LLaMA-Alpaca-2: 소스 코드 해석(run_clm_sft_with_peft.py 파일) - 모델 훈련 사전 작업(매개변수 분석 + 구성 로그) → 모델 초기화(훈련된 체 여부 감지)

모바일 모델링 튜토리얼 | Yimo 앱에서 모델을 내보내는 방법은 무엇입니까? 어떤 형식을 사용할 수 있나요? 사진도 포함되어 있나요?

대중를 사용하면 온라인 역습 달성 할 수 있도록 회사에 구일를 공유하는 방법을 볼 수

누구나 이해할 수 있는 ViewModel 원리분석!

메모리를 힙과 스택으로 나누는 이유는 무엇이며, 하나의 모델만 사용할 수 있나요? 각 스레드에 별도의 스택이 있는 이유는 무엇입니까?

DeepSpeed: 대규모 모델 훈련 프레임워크 | JD Cloud 기술팀

이 5 가지 시간 관리 도구를 사용하면 일을 잊고 자기 훈련이 아닌 "Luo Zhixiang"에 필적 할 수 있습니다!

MAT 메모리 누수 도구 사용

서버를 사용하지 않는 대 컨테이너 : 당신이 누구 때 선택할 수있는 선택?

DeepSpeed-Chat 훈련을 위한 맞춤형 모델 및 데이터

연구 노트 (28) : 이해할 수있는 컴퓨터 비전 과학 (첫 번째 분기) - 회색 임계 값 세분화 전투 훈련

지식은 각 도구를 사용할 수있는 PS 참고

Liu Zhiyuan 교사는 다음과 같이 응답했습니다. 대형 모델 LLM 분야에서 학술 연구 방향으로 사용할 수 있는 것은 무엇입니까?

몰입형 번역: Google 번역을 사용할 수 없는 문제 해결

추천

행

미국  미국  대신  임신 O

블로그에 쓰기 본인의 의견

The pitfalls encountered by AopContext.currentProxy

파이썬 기반 - 많은 객체 지향 상태

쉐이더 - 编写 표면 쉐이더

자바 멀티 스레딩 -ThreadLocal

가상 컴퓨터 호스트 이름을 수정

자바 가비지 컬렉션 및 메모리 할당

Integrierte Kotlin-Funktionen: Verwendung von Apply, also, run, let und with

준비 python3 쓰기 EXE 가젯

아카이브

기타

2020-04-08(1460)

2020-04-07(1517)

2020-04-06(1499)

2020-04-05(1440)

2020-04-04(1629)

2020-04-03(1644)

2020-04-02(1572)

2020-04-01(1665)

2020-03-31(1639)

2020-03-30(1334)