La rapidité détermine souvent le succès ou l’échec en affaires.
L'accélération de la formation des modèles signifie que les entreprises peuvent développer plus rapidement de nouveaux produits ou services d'IA, les commercialisant ainsi plus rapidement et répondant aux besoins des clients. Cette capacité de réponse rapide aide les entreprises à saisir les opportunités de la concurrence et à obtenir des avantages sur le marché. De plus, l'accélération signifie également que les entreprises peuvent réduire le temps nécessaire à la formation, réduisant ainsi l'occupation des ressources matérielles et la consommation d'énergie, ce qui se traduit par un retour sur investissement plus élevé.
En tant que première plateforme d'accès aux données d'IA hautes performances au monde, Alluxio a été largement utilisée dans les étapes principales de la formation et de l'inférence des modèles d'IA. Cette fois, nous nous sommes associés à Taili Station, une marque d'incubateur bien connue de Zhongguancun, et à DataFun, une communauté verticale de développeurs d'intelligence de données , pour inviter des experts AI Infra de l'Internet, de l'automobile et des grandes industries du modélisme pour offrir aux partenaires industriels un modèle d'IA accéléré. formation. Un merveilleux salon hors ligne avec des thèmes.
Nous invitons sincèrement les responsables informatiques/techniques, architectes, développeurs et chercheurs liés à AI Infra, ainsi que les partenaires écologiques à s'inscrire et à participer.
Reconnaître le code QR
Inscrivez-vous maintenant pour participer
√
Heure de l'événement : 26 avril 2024 (vendredi) de 14h00 à 17h10
√
Co-organisateur : Alluxio x Inno.EcoS Lab x DataFun
√
Lieu : Salle 401, 4e étage, tour A, bâtiment Dongsheng, n° 8 Zhongguancun East Road, district de Haidian, Pékin
Thème 1 : Application et déploiement d'Alluxio dans la formation de modèles de conduite autonome
Huixi Intelligence fera passer le cache de fichiers pour la formation des algorithmes de conduite autonome du NAS à Alluxio en 2023. Le système de mise en cache basé sur Alluxio résout les problèmes qui tourmentent la recherche et le développement depuis longtemps : retards importants dans l'accès simultané aux données, téléchargements de données répétés, gaspillage d'espace dû à des données répétées, inefficacité et risques opérationnels élevés causés par la gestion manuelle du stockage. capacité , améliorant de 10 fois la disponibilité du système de données. Le coût est réduit de moitié et la facilité d'utilisation est grandement améliorée, aidant ainsi l'équipe à améliorer considérablement l'efficacité du développement d'algorithmes.
√
Pourquoi Huixi a-t-il choisi Alluxio ?
√
Comment l’utiliser en conduite autonome à travers les clusters ?
√
Comment sa fonctionnalité et ses performances peuvent-elles être testées et vérifiées de manière adéquate ?
√
Comment améliorer les capacités d’exploitation et de maintenance d’Alluxio ?
Sujet 2 : Comment Alluxio accélère le stockage de l'IA dans le cloud hybride
En 2023, Zhihu a adopté Alluxio pour la première fois dans le scénario de distribution du modèle, ce qui a non seulement résolu le problème de la bande passante de ligne dédiée entre les nuages, mais a également entraîné une amélioration de 2 à 3 fois des performances de lecture.
Avec le développement d'une grande formation de modèles de langage au sein de Zhihu, l'équipe d'algorithmes a également mis en avant des exigences plus élevées en matière de stockage. L'interface Fuse fournie par Alluxio a bien répondu aux besoins du côté commercial et s'est solidement implantée au sein de Zhihu, et rapidement. Le développement, à partir du cluster initial, s'est développé en plusieurs clusters.
Zhihu dispose d'une architecture de cloud hybride afin de réduire le délai d'accès aux données lors de la formation du modèle, un ensemble de clusters Alluxio est déployé dans chaque cloud public. Les capacités de mise en cache transparente d'Alluxio sont utilisées pour distribuer rapidement les données de formation sur des clusters HDFS hors ligne à chaque public. cloud Sur une machine GPU, et sans aucune migration ni copie de données, cela améliore considérablement l'utilisation du GPU pour les tâches de formation.
Sujet 3 : Alluxio AI - une nouvelle génération de solution d'E/S de données pour plateforme de formation AI/ML
À l’ère de l’IA basée sur les données, un accès efficace à de grandes quantités de données stockées est essentiel pour la formation et la diffusion des modèles. Cependant, les problèmes d’E/S nuisent souvent aux performances et limitent l’utilisation du GPU.
Dans ce partage, nous présenterons comment la couche d'accès aux données hautes performances construite sur Alluxio peut surmonter les défis d'E/S et améliorer considérablement l'utilisation du GPU. Grâce à de riches cas d'utilisation et à des données expérimentales, vous apprendrez comment mettre en cache des ensembles de données et des modèles dans Alluxio et comment améliorer les performances.
Thème 4 : L'accumulation technique et les avantages de la communauté Moda dans le sens de la formation et de l'inférence de grands modèles
La communauté MoTa affiliée au Tongyi Lab a fait de nombreuses explorations en matière de formation en direction du LLM/MLLM/SD Afin de permettre aux développeurs communautaires de former et d'appliquer le LLM et de parvenir à une IA réellement inclusive, la communauté MoTa a développé l'open source. formation Le cadre d'inférence SWIFT possède les capacités de formation de plus de 200 LLM et de plus de 100 ensembles de données open source, et peut être facilement étendu à de nouveaux modèles. Sous la direction de SD AIGC, Moda Community et l'équipe de vision de base du laboratoire Tongyi ont développé le cadre de formation Sceptre. Ce cadre utilise LoRA et la technologie SCEdit auto-développée pour réaliser un réglage fin et une inférence pratiques des modèles de graphiques vincentiens, et peut prendre en charge des modèles contrôlables. générer.
...
et d'autres contenus passionnants vous attendent à découvrir sur place
......
14h00-14h05 L'animateur ouvre le spectacle
14h05-14h45 Solution d'E/S de données de plateforme de formation AI/ML de nouvelle génération Alluxio AI
14h45-15h25 Comment Alluxio accélère le stockage de l'IA dans le cloud hybride
15h25-15h40 Pause thé
15h40-16h20 Application et déploiement d'Alluxio dans la formation sur les modèles de conduite autonome
16h20-17h00 L'accumulation technique et les avantages de la communauté Moda dans le sens de la formation et de l'inférence de grands modèles
17h00-17h10 Échange technique et fin
Reconnaître le code QR
Inscrivez-vous maintenant pour participer
Participez à cet événement
Tous ceux qui assisteront à l'événement recevront un souvenir
En parallèle, une activité sur place pour remplir des questionnaires et dessiner des cadeaux exquis vous attend.
Si vous avez des questions, merci de scanner le QR code de l'assistant en fin d'article et de nous contacter ~
Alluxio est le premier fournisseur mondial de plateformes de données hautes performances pour l'analyse et l'IA, accélérant la création de valeur des produits d'IA d'entreprise et maximisant le retour sur investissement de l'infrastructure. La plateforme de données Alluxio se situe entre les systèmes informatiques et de stockage, offrant une vue unifiée des charges de travail sur la plateforme de données à chaque étape du flux de données. La plate-forme offre un accès aux données hautes performances, quel que soit l'endroit où résident les données, simplifie l'ingénierie des données, améliore l'utilisation du GPU et réduit les coûts de cloud computing et de stockage. Les entreprises peuvent accélérer considérablement la formation et la maintenance des modèles et créer une infrastructure d'IA sur les lacs de données existants sans utiliser de stockage dédié.
Avec le soutien d'investisseurs de premier plan, Alluxio fournit des services aux sociétés mondiales de technologie, d'Internet, de finance et de télécommunications. Actuellement, 9 des 10 plus grandes sociétés Internet au monde utilisent Alluxio. Pour plus d’informations, veuillez visiter www.alluxio.com.cn.
Inno.EcoS Lab Taili Station est la marque d'incubateur du parc scientifique et technologique de Zhongguancun Dongsheng. Il s'agit d'un réseau d'accélération de l'incubation de l'innovation industrielle et d'une plate-forme d'innovation établie avec l'écosystème de croissance des entreprises de haute technologie Inno.EcoS comme noyau. Taili Station se concentre sur les trois principaux domaines industriels que sont les sciences de la vie, l'économie numérique et les nouvelles énergies/nouveaux matériaux. Elle est profondément engagée dans les services industriels depuis plus de 10 ans et rassemble des ressources d'innovation et d'entrepreneuriat du monde entier pour fournir de multiples services. choix pour les entreprises de haute technologie dans les étapes de pré-incubation, d'accélération et de croissance. Plusieurs types et emplacements d'espaces de bureau et prise en charge de services technologiques d'entreprise innovants.
Fondée fin 2017, DataFun est une communauté verticale axée sur le service aux développeurs de data intelligence. Animés par la mission de « créer des millions de développeurs intelligents en matière de données et d'aider des dizaines de milliers d'entreprises à devenir numériquement intelligentes », au cours de près de 6 années d'activité continue, plus de 4 000 experts dans le domaine ont été invités à partager leurs expériences, et plus encore. plus de 100 000 experts ont accumulé leur expérience sous forme de vidéos, d'images et de textes, 2 000 cas d'application et ont influencé 500 000 développeurs précis sur l'ensemble du réseau. Chez DataFun, vous pouvez vous connecter à des experts faisant autorité, à des technologies de pointe, aux meilleures pratiques et à des groupes de développeurs exceptionnels dans le domaine de l'intelligence des données. J'espère que DataFun pourra accompagner les développeurs, les entreprises et les industries à se précipiter dans l'ère de l'intelligence des données.
✦
[Ajouter un assistant pour en savoir plus sur l'événement]
✦
✦
【Popularité récente】
✦
✦
【Marché Baodian】
✦
Cet article est partagé à partir du compte public WeChat - Alluxio (Alluxio_China).
En cas d'infraction, veuillez contacter [email protected] pour suppression.
Cet article participe au « Plan de création de sources OSC ». Vous qui lisez, êtes invités à vous joindre et à partager ensemble.