A velocidade geralmente determina o sucesso ou o fracasso nos negócios.
A aceleração do treinamento de modelos significa que as empresas podem desenvolver novos produtos ou serviços de IA com mais rapidez, trazendo-os ao mercado mais rapidamente e atendendo às necessidades dos clientes. Esta capacidade de resposta rápida ajuda as empresas a aproveitar oportunidades na concorrência e a obter vantagens de mercado. Além disso, a aceleração também significa que as empresas podem reduzir o tempo necessário para a formação, reduzindo assim a ocupação de recursos de hardware e o consumo de energia, resultando num maior ROI.
Como plataforma líder mundial de acesso a dados de IA de alto desempenho, o Alluxio tem sido amplamente utilizado nos estágios principais de treinamento e inferência de modelos de IA. Desta vez, nos unimos à conhecida marca de incubadoras de Zhongguancun, Taili Station, e à DataFun, uma comunidade vertical de desenvolvedores de inteligência de dados , para convidar especialistas em AI Infra da Internet, automóveis e grandes indústrias de modelos para trazer aos parceiros da indústria um modelo de IA acelerado treinamento Um maravilhoso salão offline com temas.
Sinceramente, convidamos líderes técnicos/de TI relacionados à IA Infra, arquitetos, desenvolvedores e pesquisadores, e parceiros ecológicos a se inscreverem e participarem.
Reconhecer código QR
Inscreva-se agora para participar
√
Horário do evento: 26 de abril de 2024 (sexta-feira) 14h00-17h10
√
Co-organizador: Alluxio x Inno.EcoS Lab x DataFun
√
Local: Sala 401, 4º andar, Torre A, Edifício Dongsheng, No. 8 Zhongguancun East Road, Distrito de Haidian, Pequim
Tópico 1: Aplicação e implantação do Alluxio no treinamento de modelos de direção autônoma
A Huixi Intelligence mudará o cache de arquivos para treinamento de algoritmo de direção autônoma do NAS para o Alluxio em 2023. O sistema de cache baseado no Alluxio resolve os problemas que atormentam a pesquisa e o desenvolvimento há muito tempo: graves atrasos no acesso simultâneo aos dados, downloads repetidos de dados, desperdício de espaço devido à repetição de dados, ineficiência e altos riscos operacionais causados pelo gerenciamento manual de armazenamento capacidade , melhorando a disponibilidade do sistema de dados em 10 vezes. O custo é reduzido pela metade e a facilidade de uso é bastante melhorada, ajudando assim a equipe a melhorar muito a eficiência do desenvolvimento de algoritmos.
√
Por que Huixi escolheu o Alluxio?
√
Como usá-lo na direção autônoma em clusters?
√
Como sua funcionalidade e desempenho podem ser testados e verificados adequadamente?
√
Como melhorar a capacidade de operação e manutenção do Alluxio?
Tópico 2: Como o Alluxio acelera o armazenamento de IA em nuvem híbrida
Em 2023, Zhihu adotou o Alluxio pela primeira vez no cenário de distribuição de modelo, o que não apenas resolveu o problema de largura de banda de linha dedicada entre nuvens, mas também trouxe uma melhoria de 2 a 3 vezes no desempenho de leitura.
Com o desenvolvimento de treinamento de grandes modelos de linguagem em Zhihu, a equipe de algoritmos também apresentou requisitos mais elevados para armazenamento. A interface Fuse fornecida pela Alluxio atendeu bem às necessidades do lado comercial e estabeleceu uma posição firme em Zhihu, e rapidamente. O desenvolvimento, a partir do cluster inicial, desenvolveu-se em vários clusters.
Zhihu possui uma arquitetura de nuvem híbrida para reduzir o atraso no acesso aos dados durante o treinamento do modelo, um conjunto de clusters Alluxio é implantado em cada nuvem pública. Os recursos de cache transparente do Alluxio são usados para distribuir rapidamente dados de treinamento em clusters HDFS offline para cada público. nuvem Em uma máquina GPU, e sem qualquer migração ou cópia de dados, melhora muito a utilização da GPU nas tarefas de treinamento.
Tópico 3: Alluxio AI - uma nova geração de solução de E/S de dados de plataforma de treinamento AI/ML
Na era da IA orientada por dados, o acesso eficiente a grandes quantidades de dados armazenados é fundamental para o treinamento e a veiculação de modelos. No entanto, os desafios de E/S muitas vezes prejudicam o desempenho e limitam a utilização da GPU.
Neste compartilhamento, apresentaremos como a camada de acesso a dados de alto desempenho construída no Alluxio pode superar os desafios de I/O e melhorar significativamente a utilização da GPU. Através de casos de usuários avançados e dados experimentais, você aprenderá como armazenar conjuntos de dados e modelos em cache no Alluxio e como melhorar o desempenho.
Tema 4: O acúmulo técnico e as vantagens da comunidade Moda na direção do treinamento e inferência de grandes modelos
A comunidade MoTa afiliada ao Tongyi Lab fez muitas explorações em treinamento na direção de LLM/MLLM/SD. A fim de facilitar os desenvolvedores da comunidade a treinar e aplicar LLM e realmente alcançar IA inclusiva, a comunidade MoTa desenvolveu código aberto. treinamento A estrutura de inferência SWIFT tem recursos de treinamento para mais de 200 LLM e mais de 100 conjuntos de dados de código aberto e pode ser facilmente estendida para novos modelos. Na direção do SD AIGC, a Moda Community e a equipe de visão básica do Laboratório Tongyi desenvolveram a estrutura de treinamento Scepter. Esta estrutura usa LoRA e tecnologia SCEdit autodesenvolvida para obter ajuste fino e inferência convenientes de modelos gráficos vicentinos e pode suportar controláveis. gerar.
...
e há conteúdos mais interessantes esperando para você descobrir no site
......
14h00-14h05 Apresentador abre o show
14h05-14h45 Alluxio AI solução de E/S de dados da plataforma de treinamento AI/ML de nova geração
14h45-15h25 Como o Alluxio acelera o armazenamento de IA em nuvem híbrida
15h25-15h40 Pausa para chá
15h40-16h20 Aplicação e implantação do Alluxio no treinamento de modelos de direção autônoma
16h20-17h00 O acúmulo técnico e as vantagens da comunidade Moda na direção de treinamento e inferência de grandes modelos
17h00-17h10 Intercâmbio técnico e encerramento
Reconhecer código QR
Inscreva-se agora para participar
Participe deste evento
Todos que comparecerem ao evento receberão uma lembrancinha
Ao mesmo tempo, há uma atividade no local para preenchimento de questionários e sorteio de presentes requintados que estão esperando por você.
Se você tiver alguma dúvida, escaneie o código QR do assistente no final do artigo e entre em contato conosco ~
A Alluxio é fornecedora líder mundial de plataformas de dados de alto desempenho para análise e IA, acelerando a realização de valor de produtos empresariais de IA e maximizando o retorno sobre o investimento em infraestrutura. A plataforma de dados Alluxio fica entre os sistemas de computação e armazenamento, fornecendo uma visão unificada das cargas de trabalho na plataforma de dados em todas as fases do fluxo de trabalho de dados. A plataforma fornece acesso a dados de alto desempenho, não importa onde os dados residam, simplifica a engenharia de dados, melhora a utilização da GPU e reduz os custos de computação e armazenamento em nuvem. As empresas podem acelerar significativamente o treinamento e o atendimento de modelos e construir infraestrutura de IA em data lakes existentes sem usar armazenamento dedicado.
Com o apoio dos principais investidores, o Alluxio presta serviços para empresas globais de tecnologia, Internet, financeiras e de telecomunicações. Atualmente, 9 das 10 maiores empresas de Internet do mundo utilizam o Alluxio. Para mais informações, visitewww.alluxio.com.cn.
Inno.EcoS Lab Taili Station é a marca de incubadora do Parque de Ciência e Tecnologia Zhongguancun Dongsheng. É uma rede de aceleração de incubação de inovação industrial e plataforma de inovação estabelecida com o ecossistema de crescimento empresarial de alta tecnologia Inno.EcoS como núcleo. A Estação Taili concentra-se nos três principais campos industriais de ciências da vida, economia digital e novas energias/novos materiais. Ela está profundamente envolvida em serviços industriais há mais de 10 anos. Ela reúne inovação e recursos empresariais de todo o mundo para fornecer múltiplos. escolhas para empresas de alta tecnologia nas fases de pré-incubação, aceleração e crescimento. Vários tipos e localizações de espaços de escritório e apoio a serviços tecnológicos empresariais inovadores.
Fundada no final de 2017, a DataFun é uma comunidade vertical focada em atender desenvolvedores de inteligência de dados. Impulsionados pela missão de “criar milhões de desenvolvedores inteligentes de dados e ajudar dezenas de milhares de empresas a se tornarem digitalmente inteligentes”, ao longo de quase 6 anos de operação contínua, mais de 4.000 especialistas na área foram convidados a compartilhar suas experiências e muito mais. mais de 100.000 especialistas acumularam experiência na forma de vídeos, imagens e textos, 2.000 casos de aplicação e influenciaram 500.000 desenvolvedores precisos em toda a rede. Na DataFun, você pode se conectar a especialistas autorizados, tecnologias de ponta, melhores práticas e grupos de desenvolvedores excepcionais na área de inteligência de dados. Espero que o DataFun possa acompanhar desenvolvedores, empresas e indústrias para entrar na era da inteligência de dados.
✦
[Adicione assistente para saber mais detalhes do evento]
✦
✦
【Popularidade recente】
✦
✦
【Mercado Baodiano】
✦
Este artigo é compartilhado na conta pública do WeChat - Alluxio (Alluxio_China).
Se houver alguma violação, entre em contato com [email protected] para exclusão.
Este artigo participa do “ Plano de Criação da Fonte OSC ”. Você que está lendo é bem-vindo para participar e compartilhar juntos.