Este artigo foi compartilhado pela Huawei Cloud Community "Os principais fabricantes do mundo, Huawei GaussDB e GeminiDB, 17 artigos foram selecionados para a principal conferência internacional de banco de dados ICDE" , autor: banco de dados GaussDB.
De 13 a 17 de maio, a principal conferência acadêmica internacional sobre bancos de dados ICDE 2024 foi realizada em Utrecht, na Holanda. Huawei GaussDB e GeminiDB possuem 17 artigos selecionados, tornando-se o fabricante de banco de dados com maior número de artigos selecionados no mundo. Nikolaos Ntarmos, Diretor do Laboratório de Banco de Dados do Huawei Edinburgh Research Institute, fez um discurso intitulado "Huawei Cloud GaussDB, uma maneira melhor de banco de dados", apresentando os resultados técnicos e comerciais do Huawei GaussDB para instituições acadêmicas e representantes em todo o mundo.
O nome completo do ICDE é "IEEE International Conference on Data Engineering" (IEEE International Conference on Data Engineering). Juntamente com SIGMOD e VLDB, é conhecida como as três principais conferências na área de banco de dados. conferências na área de banco de dados e goza de grande reputação internacional e tem ampla influência acadêmica.
O ICDE inclui os resultados de pesquisa mais avançados e de alto nível no campo de bancos de dados das principais instituições de pesquisa e empresas de tecnologia. ICDE 2024 é a 40ª Conferência Internacional IEEE sobre Engenharia de Dados. A seleção dos 17 artigos da Huawei é o resultado de uma cooperação amigável e de esforços conjuntos entre a equipe de pesquisa científica da Huawei e equipes ou organizações externas. Abaixo estão trechos de alguns dos artigos selecionados da Huawei nesta conferência, e todos os artigos selecionados serão interpretados tematicamente no acompanhamento.
GaussML: um sistema completo de aprendizado de máquina em banco de dados
O artigo "GaussML: An End-to-End In-database Machine Learning System" foi concluído em conjunto pela Universidade Tsinghua, Huawei e ETH Zurich. Ele melhora o desempenho do treinamento de algoritmos de aprendizado de máquina e inferência no banco de dados para satisfazer profundamente a realidade dos usuários. -análise de tempo. Este artigo foi muito elogiado pela equipe de revisão da conferência e acreditou que propunha um novo mecanismo de aprendizado de máquina.
A estrutura de aprendizado de máquina na biblioteca nativa, conhecida como GaussML, usa o treinamento de aprendizado de máquina como um operador de execução e utiliza os recursos paralelos e distribuídos do banco de dados para demonstrar vantagens de desempenho de inferência e treinamento de aprendizado de máquina que são mais de 10 vezes maiores do que produtos similares na indústria. Suas principais capacidades incluem:
Primeiro, o artigo propõe pela primeira vez a arquitetura de um mecanismo nativo de aprendizado de máquina de IA no banco de dados. O treinamento e a inferência do algoritmo de aprendizado de máquina são integrados no processo de execução do SQL. gerenciamento, processamento simultâneo e capacidades paralelas distribuídas e eficiência máxima no raciocínio;
Em segundo lugar, o GaussML também constrói o recurso AutoML na biblioteca, que pode ajustar os parâmetros de forma adaptativa e corrigir o modelo de acordo com as mudanças de carga. Ele projeta um recurso de ajuste automático do modelo ponta a ponta para simplificar o custo de ajuste dos parâmetros do modelo pelo usuário e melhorar. a qualidade do modelo no banco de dados. Facilidade de uso;
Terceiro, o GaussML alcança recursos de ajuste automático de ponta a ponta, criando treinamento nativo de aprendizado de máquina e processos de inferência no banco de dados, construindo um mecanismo completo de aprendizado de máquina na biblioteca para oferecer suporte à análise inteligente em tempo real dos negócios do cliente. Essa estrutura simplifica o treinamento de aprendizado de máquina e os custos de inferência para cientistas de dados, fornecendo uma interface semelhante a SQL, oferece suporte a algoritmos de aprendizado de máquina comumente usados e atende às necessidades da grande maioria dos clientes.
Em resumo, o artigo propõe um mecanismo de aprendizado de máquina totalmente novo, que apresenta excelentes vantagens de alto desempenho em vários conjuntos de dados públicos e dá mais um passo em direção ao desenvolvimento da inteligência de banco de dados.
GaussDB-Global: um sistema de banco de dados distribuído geograficamente
O artigo "GaussDB-Global: Um sistema de banco de dados distribuído geograficamente" é o resultado da pesquisa da equipe de tecnologia de banco de dados Gauss da Huawei. No artigo, é proposto um método de processamento de transações distribuídas baseado em um método de sincronização de relógio de alta precisão, e um sistema de banco de dados global distribuído entre regiões, GaussDB-Global, é construído. A principal implementação deste artigo:
Primeiro, usando o método descentralizado de sincronização de relógios, o sistema de banco de dados distribuído geograficamente resolve o problema de gargalo de desempenho do gerenciador de transações centralizado e consegue uma transição perfeita do gerenciamento de transações centralizado para o gerenciamento de transações distribuídas descentralizado. implantação global de um conjunto de clusters.
Em segundo lugar, em relação à leitura remota e ao envio de logs de longa distância de dados fragmentados, os sistemas de banco de dados distribuídos geograficamente suportam a leitura em réplicas assíncronas, forte consistência, garantias de atualização ajustáveis e balanceamento de carga dinâmico. Os resultados experimentais em clusters entre regiões mostram que, em comparação com a linha de base centralizada, esse método fornece desempenho somente leitura até 14 vezes melhor e rendimento mais de 50% maior no conjunto de dados padrão TPC-C.
QCFE: uma engenharia de recursos eficiente para estimativa de custos de consulta
O artigo "QCFE: An Efficient Feature Engineering for Query Cost Estimation" foi concluído em conjunto pelas equipes do Harbin Institute of Technology e da Huawei. Ele propôs um método eficiente de engenharia de recursos (QCFE) para resolver o problema de engenharia de recursos na avaliação de declarações de consulta existentes. Este método alcança melhorias significativas na eficiência da precisão do tempo. As principais contribuições do artigo incluem:
Primeiro, o conceito de Feature Snapshot é proposto para integrar a influência de variáveis ignoradas, como botões de banco de dados, hardware, etc., para melhorar a precisão do modelo de custo de consulta.
Em segundo lugar, um método de redução de recursos de propagação diferencial é projetado para melhorar ainda mais o treinamento do modelo e a eficiência de inferência, eliminando recursos inválidos.
Terceiro, um design de modelo SQL simplificado é introduzido para melhorar a eficiência de tempo do cálculo de instantâneos de recursos.
Quarto, as vantagens do QCFE na eficiência da precisão do tempo em relação aos métodos existentes são demonstradas em uma ampla gama de testes de benchmark, incluindo TPC-H, job-light e Sysbench.
Em resumo, a inovação desta pesquisa é que ela propõe um método eficaz de engenharia de recursos que pode melhorar significativamente o tempo e a precisão da estimativa de custos de consulta.
TRAP: Avaliação de Robustez Personalizada para Consultores de Índice via Perturbação Adversarial
O artigo "TRAP: Avaliação de robustez personalizada para consultores de índice por meio de perturbação adversária" foi pesquisado em conjunto pela Universidade de Xiamen, Universidade de Tsinghua e Huawei. Ele resolve o problema de robustez dos consultores de índice existentes, propondo uma estrutura de geração de carga de trabalho TRAP baseada na avaliação sexual adversária. problemas.
A estrutura TRAP é capaz de gerar cargas de trabalho adversárias eficazes para avaliar a robustez dos consultores de índice. O TRAP tem vantagens óbvias na avaliação de consultores de índices. O estudo descobriu:
Primeiro, através da geração eficiente de cargas de trabalho adversárias, a robustez do index advisor pode ser avaliada com precisão, uma vez que estas cargas de trabalho não se desviam da carga de trabalho original, mas podem ser identificadas falhas de desempenho devido ao desvio da carga de trabalho.
Em segundo lugar, para projetar um consultor de índice baseado em aprendizagem mais robusto, o uso de representação de estado refinada e estratégias de remoção de candidatos pode melhorar o desempenho.
Terceiro, para projetar consultores de índices baseados em heurísticas mais robustos, é crucial considerar as interações dos índices e o uso de índices de múltiplas colunas durante o processo de seleção do índice.
Tomadas em conjunto, as conclusões acima fornecem informações sobre a concepção e avaliação dos consultores de índices e destacam a importância de avaliar os consultores de índices em aplicações práticas.
Autoencoders mascarados de frequência temporal para detecção de anomalias em séries temporais
O artigo "Autoencoders mascarados de frequência temporal para detecção de anomalias de séries temporais" foi publicado para ajudar os bancos de dados de séries temporais a reduzir perdas ao detectar anomalias com antecedência. Ao projetar um algoritmo de detecção de anomalias de autoencoder mascarado de frequência de tempo (TFMAE) leve e baseado em aprendizado profundo, ele demonstra seu bom desempenho em vários conjuntos de dados públicos. Este artigo foi altamente elogiado pela equipe de revisão da conferência e acreditou que propunha um novo paradigma para detecção de anomalias de temporização. Foi finalmente aceito pelo ICDE 2024 sem modificações.
Como o primeiro artigo sobre detecção de anomalias de tempo usando comparação de máscara de tempo-frequência, a pesquisa se concentra nos três pontos a seguir:
Primeiro, é proposto um critério de comparação de detecção de anomalias de séries temporais baseado em máscaras no domínio do tempo e no domínio da frequência, que substitui o erro de reconstrução tradicional para determinar o limite de detecção de anomalias. Este é um critério de julgamento que não é afetado por mudanças de distribuição.
Em segundo lugar, uma estratégia de mascaramento no domínio do tempo baseada em janela e uma estratégia de mascaramento no domínio da frequência baseada em amplitude são propostas para eliminar possíveis observações e padrões anômalos na sequência. Portanto, o TFMAE é um modelo resistente ao viés de anomalias.
Terceiro, experimentos em cinco conjuntos de dados do mundo real e dois conjuntos de dados sintéticos mostram que o TFMAE melhora o desempenho e a velocidade de detecção.
Em resumo, "Autoencoders mascarados de frequência temporal para detecção de anomalias de série temporal" é o primeiro artigo sobre detecção de anomalias de série temporal usando comparação de máscara de frequência temporal. Ele tem um efeito de promoção prático em amplas aplicações nos setores médico, de manufatura, financeiro e outros.
As direções de pesquisa dos artigos selecionados da Huawei nesta conferência envolvem AI4DB, bancos de dados de séries temporais, otimização de consultas, treinamento e raciocínio de algoritmos de aprendizado de máquina no banco de dados... Tantas conquistas científicas e tecnológicas se beneficiam da exploração e prática de longo prazo da Huawei no campo de tecnologia de banco de dados de ponta, bem como sua cooperação global com as principais instituições acadêmicas, resolvem em conjunto problemas mundiais no campo de banco de dados, integram pesquisas inovadoras de ponta em tecnologia de produtos por meio da integração profunda da indústria, academia, pesquisa e aplicação, construir um ecossistema saudável do setor de banco de dados e fornecer aos clientes produtos e serviços de banco de dados inovadores e competitivos.
No futuro, a Huawei continuará a inovar e a aprofundar os seus esforços no campo das bases de dados, levando a indústria a alcançar novos patamares.
Clique para seguir e conhecer as novas tecnologias da Huawei Cloud o mais rápido possível~
Os recursos piratas de "Qing Yu Nian 2" foram carregados no npm, fazendo com que o npmmirror suspendesse o serviço unpkg. Zhou Hongyi: Não resta muito tempo para o Google. Sugiro que todos os produtos sejam de código aberto . time.sleep(6) aqui desempenha um papel. Linus é o mais ativo em “comer comida de cachorro”! O novo iPad Pro usa 12 GB de chips de memória, mas afirma ter 8 GB de memória. O People’s Daily Online analisa o carregamento estilo matryoshka do software de escritório: Somente resolvendo ativamente o “conjunto” poderemos ter um futuro . novo paradigma de desenvolvimento para Vue3, sem a necessidade de `ref/reactive `, sem necessidade de `ref.value` MySQL 8.4 LTS Manual chinês lançado: Ajuda você a dominar o novo domínio de gerenciamento de banco de dados Tongyi Qianwen nível GPT-4 modelo principal preço reduzido em 97%, 1 yuan e 2 milhões de tokens