Dieser Artikel wurde von der Huawei Cloud Community geteilt : „Die weltweit führenden Hersteller, Huawei GaussDB und GeminiDB, 17 Beiträge wurden für die wichtigste internationale Datenbankkonferenz ICDE ausgewählt“ , Autor: GaussDB-Datenbank.
Vom 13. bis 17. Mai fand in Utrecht, Niederlande, die führende internationale Datenbank-Wissenschaftskonferenz ICDE 2024 statt. Huawei GaussDB und GeminiDB haben 17 Artikel ausgewählt und sind damit der Datenbankhersteller mit der weltweit größten Anzahl ausgewählter Artikel. Nikolaos Ntarmos, Direktor des Datenbanklabors des Huawei Edinburgh Research Institute, hielt eine Rede mit dem Titel „Huawei Cloud GaussDB, ein besserer Weg zur Datenbank“, in der er akademischen Institutionen und Vertretern auf der ganzen Welt die technischen und kommerziellen Ergebnisse von Huawei GaussDB vorstellte.
Der vollständige Name der ICDE lautet „IEEE International Conference on Data Engineering“. Zusammen mit SIGMOD und VLDB gilt sie als eine der renommiertesten internationalen Spitzenkonferenzen Er nimmt an Konferenzen im Datenbankbereich teil, genießt international hohes Ansehen und verfügt über weitreichenden akademischen Einfluss.
ICDE umfasst die aktuellsten und hochwertigsten Forschungsergebnisse im Datenbankbereich von großen Forschungseinrichtungen und Technologieunternehmen. ICDE 2024 ist die 40. IEEE International Conference on Data Engineering. Die Auswahl der 17 Beiträge von Huawei ist das Ergebnis einer freundschaftlichen Zusammenarbeit und gemeinsamer Bemühungen zwischen dem wissenschaftlichen Forschungsteam von Huawei und externen Teams oder Organisationen. Nachfolgend finden Sie Auszüge einiger ausgewählter Vorträge von Huawei auf dieser Konferenz. Alle ausgewählten Vorträge werden im Anschluss thematisch interpretiert.
GaussML: Ein End-to-End-System für maschinelles Lernen in der Datenbank
Der Artikel „GaussML: An End-to-End In-database Machine Learning System“ wurde gemeinsam von der Tsinghua University, Huawei und der ETH Zürich erstellt. Er verbessert die Leistung des maschinellen Lernalgorithmus-Trainings und der Inferenz in der Datenbank, um die Anforderungen der Benutzer umfassend zu erfüllen -Zeitanalyse. Dieses Papier wurde vom Konferenzrezensionsteam hoch gelobt und war der Ansicht, dass es eine völlig neue Engine für maschinelles Lernen vorschlug.
Das als GaussML bezeichnete Framework für maschinelles Lernen in der nativen Bibliothek verwendet maschinelles Lernen als Ausführungsoperator und nutzt die parallelen und verteilten Funktionen der Datenbank, um Leistungsvorteile von Inferenz und Training für maschinelles Lernen zu demonstrieren, die mehr als zehnmal höher sind als Ähnliche Produkte in der Branche umfassen:
Erstens wird in dem Artikel erstmals die Architektur einer nativen KI-Engine für maschinelles Lernen vorgeschlagen, bei der das Training und die Inferenz von maschinellen Lernalgorithmen mithilfe des Optimierungsprogramms der Datenbank in den SQL-Ausführungsprozess integriert werden Verwaltung, gleichzeitige Verarbeitung und verteilte parallele Funktionen und ultimative Effizienz beim Denken;
Zweitens baut GaussML auch die AutoML-Funktion in der Bibliothek auf, mit der Parameter adaptiv angepasst und das Modell entsprechend Laständerungen korrigiert werden können. Es entwirft eine End-to-End-Funktion zur automatischen Optimierung des Modells, um die Kosten für die Benutzeranpassung von Modellparametern zu vereinfachen und zu verbessern die Qualität des Modells in der Datenbank.
Drittens erreicht GaussML durchgängige automatische Optimierungsfunktionen, indem es native Trainings- und Inferenzprozesse für maschinelles Lernen in die Datenbank einbaut und eine vollständige Maschine für maschinelles Lernen in der Bibliothek aufbaut, um eine intelligente Echtzeitanalyse des Kundengeschäfts zu unterstützen. Dieses Framework vereinfacht die Schulungs- und Inferenzkosten für maschinelles Lernen für Datenwissenschaftler, indem es eine SQL-ähnliche Schnittstelle bereitstellt, häufig verwendete Algorithmen für maschinelles Lernen unterstützt und die Anforderungen der überwiegenden Mehrheit der Kunden erfüllt.
Zusammenfassend schlägt das Papier eine brandneue Engine für maschinelles Lernen vor, die hervorragende Hochleistungsvorteile bei mehreren öffentlichen Datensätzen aufweist und einen weiteren Schritt in Richtung der Entwicklung von Datenbankintelligenz macht.
GaussDB-Global: Ein geografisch verteiltes Datenbanksystem
Das Papier „GaussDB-Global: A Geographically Distributed Database System“ ist das Forschungsergebnis des Gauss-Datenbanktechnologieteams von Huawei. In dem Artikel wird eine verteilte Transaktionsverarbeitungsmethode basierend auf einer hochpräzisen Taktsynchronisationsmethode vorgeschlagen und ein überregional verteiltes globales Datenbanksystem GaussDB-Global aufgebaut. Die Hauptimplementierung dieses Papiers:
Erstens löst das geografisch verteilte Datenbanksystem mithilfe der dezentralen Methode zur Synchronisierung von Uhren das Leistungsengpassproblem des zentralen Transaktionsmanagers und erreicht einen nahtlosen Übergang von der zentralen Transaktionsverwaltung zur dezentralen verteilten Transaktionsverwaltung. Bietet eine flexiblere und bequemere Bereitstellungsmethode Globale Bereitstellung einer Reihe von Clustern.
Zweitens unterstützen geografisch verteilte Datenbanksysteme in Bezug auf das Fernlesen und den Protokollversand von Shard-Daten über große Entfernungen das Lesen auf asynchronen Replikaten, starke Konsistenz, anpassbare Aktualitätsgarantien und dynamischen Lastausgleich. Experimentelle Ergebnisse zu regionsübergreifenden Clustern zeigen, dass diese Methode im Vergleich zur zentralisierten Basislinie eine bis zu 14-mal bessere Nur-Lese-Leistung und einen um mehr als 50 % höheren Durchsatz beim Standarddatensatz TPC-C bietet.
QCFE: Ein effizientes Feature-Engineering zur Abfragekostenschätzung
Das Papier „QCFE: An Efficient Feature Engineering for Query Cost Estimation“ wurde gemeinsam von den Teams des Harbin Institute of Technology und Huawei erstellt. Es schlug eine effiziente Feature-Engineering-Methode (QCFE) vor, um das Feature-Engineering-Problem bei der Auswertung vorhandener Abfrageanweisungen zu lösen . Mit dieser Methode werden erhebliche Verbesserungen der Zeitgenauigkeit erzielt. Zu den Hauptbeiträgen des Papiers gehören:
Zunächst wird das Konzept des Feature Snapshot vorgeschlagen, um den Einfluss ignorierter Variablen wie Datenbankknöpfe, Hardware usw. zu integrieren und so die Genauigkeit des Abfragekostenmodells zu verbessern.
Zweitens soll eine Methode zur Merkmalsreduzierung mit differenzieller Ausbreitung die Effizienz des Modelltrainings und der Inferenz durch Beschneiden ungültiger Merkmale weiter verbessern.
Drittens wird ein vereinfachtes SQL-Vorlagendesign eingeführt, um die Zeiteffizienz bei der Berechnung von Feature-Snapshots zu verbessern.
Viertens werden die Vorteile von QCFE in Bezug auf die Zeitgenauigkeitseffizienz gegenüber bestehenden Methoden in einer Vielzahl von Benchmark-Tests demonstriert, darunter TPC-H, Job-Light und Sysbench.
Zusammenfassend besteht die Innovation dieser Forschung darin, dass sie eine effektive Feature-Engineering-Methode vorschlägt, die die Zeit und Genauigkeit der Abfragekostenschätzung erheblich verbessern kann.
TRAP: Maßgeschneiderte Robustheitsbewertung für Indexberater mittels kontradiktorischer Störung
Das Papier „TRAP: Tailored Robustness Assessment for Index Advisors via Adversarial Perturbation“ wurde gemeinsam von der Xiamen University, der Tsinghua University und Huawei erforscht. Es löst das Robustheitsproblem bestehender Indexberater, indem es ein TRAP zur Arbeitsbelastungsgenerierung vorschlägt, das auf kontradiktorischer Störung basiert Probleme.
Das TRAP-Framework ist in der Lage, effektive gegnerische Arbeitslasten zur Bewertung der Robustheit von Indexberatern zu generieren. TRAP hat offensichtliche Vorteile bei der Bewertung von Indexberatern. Die Studie ergab:
Erstens kann durch die effiziente Generierung kontradiktorischer Arbeitslasten die Robustheit des Indexberaters genau beurteilt werden, da diese Arbeitslasten nicht von der ursprünglichen Arbeitslast abweichen, Leistungslücken aufgrund von Arbeitslastdrift jedoch identifiziert werden können.
Zweitens kann die Leistung durch die Verwendung feinkörniger Zustandsdarstellungs- und Kandidatenbereinigungsstrategien verbessert werden, um einen robusteren lernbasierten Indexberater zu entwerfen.
Drittens ist es für die Entwicklung robuster heuristischer Indexberater von entscheidender Bedeutung, Indexinteraktionen und die Verwendung mehrspaltiger Indizes während des Indexauswahlprozesses zu berücksichtigen.
Zusammengenommen liefern die oben genannten Ergebnisse Einblicke in die Gestaltung und Bewertung von Indexberatern und unterstreichen die Bedeutung der Bewertung von Indexberatern in der praktischen Anwendung.
Zeitlich-frequenzmaskierte Autoencoder zur Erkennung von Zeitreihenanomalien
Der Artikel „Temporal-Frequency Masked Autoencoders for Time Series Anomaly Detection“ wurde veröffentlicht, um Zeitreihendatenbanken dabei zu helfen, Verluste durch die Erkennung von Anomalien im Voraus zu reduzieren. Durch die Entwicklung eines leichten, auf tiefem Lernen basierenden zeitfrequenzmaskierten Autoencoder-Anomalieerkennungsalgorithmus (TFMAE) demonstriert es seine gute Leistung bei mehreren öffentlichen Datensätzen. Dieses Papier wurde vom Konferenzrezensionsteam hoch gelobt und war der Ansicht, dass es ein neues Paradigma für die Erkennung von Zeitanomalien vorschlug. Es wurde schließlich von ICDE 2024 ohne Änderungen akzeptiert.
Als erste Arbeit zur Erkennung von Zeitanomalien mithilfe eines Zeit-Frequenz-Maskenvergleichs konzentriert sich die Forschung auf die folgenden drei Punkte:
Zunächst wird ein auf Zeitbereichs- und Frequenzbereichsmasken basierendes Zeitreihen-Anomalieerkennungs-Vergleichskriterium vorgeschlagen, das den herkömmlichen Rekonstruktionsfehler zur Bestimmung der Anomalieerkennungsschwelle ersetzt. Dies ist ein Beurteilungskriterium, das nicht durch Verteilungsverschiebungen beeinflusst wird.
Zweitens werden eine fensterbasierte Zeitbereichsmaskierungsstrategie und eine amplitudenbasierte Frequenzbereichsmaskierungsstrategie vorgeschlagen, um potenzielle anomale Beobachtungen und Muster in der Sequenz zu eliminieren. Daher ist TFMAE ein Anomalie-Bias-resistentes Modell.
Drittens zeigen Experimente mit fünf realen Datensätzen und zwei synthetischen Datensätzen, dass TFMAE sowohl die Erkennungsleistung als auch die Geschwindigkeit verbessert.
Zusammenfassend ist „Temporal-Frequency Masked Autoencoders for Time Series Anomaly Detection“ der erste Artikel zur Erkennung von Zeitreihenanomalien mithilfe von Zeit-Frequenz-Maskenvergleichen. Er hat einen praktischen Werbeeffekt für breite Anwendungen in der Medizin-, Fertigungs-, Finanz- und anderen Branchen.
Die Forschungsrichtungen der ausgewählten Vorträge von Huawei auf dieser Konferenz umfassen AI4DB, Zeitreihendatenbanken, Abfrageoptimierung, Training und Argumentation von Algorithmen für maschinelles Lernen in der Datenbank ... So viele wissenschaftliche und technologische Errungenschaften profitieren von Huaweis langfristiger Forschung und Praxis auf diesem Gebiet der neuesten Datenbanktechnologie sowie die globale Zusammenarbeit mit führenden akademischen Institutionen lösen gemeinsam weltweite Probleme im Datenbankbereich und integrieren innovative Spitzenforschung in die Produkttechnologie durch tiefgreifende Integration von Industrie, Wissenschaft, Forschung und Anwendung. Bauen Sie ein gesundes Ökosystem der Datenbankbranche auf und bieten Sie Ihren Kunden innovative und wettbewerbsfähige Datenbankprodukte und -dienstleistungen.
Huawei wird auch in Zukunft seine Bemühungen im Datenbankbereich weiter innovieren und vertiefen und so die Branche zu neuen Höhen führen.
Die Raubkopien von „Qing Yu Nian 2“ wurden auf npmror hochgeladen, was dazu führte, dass npmmirror den Unpkg-Dienst einstellen musste: Es bleibt nicht mehr viel Zeit für Google. Ich schlage vor, dass alle Produkte Open Source sind . time.sleep(6) spielt hier eine Rolle. Linus ist am aktivsten beim „Hundefutter fressen“! Das neue iPad Pro verwendet 12 GB Speicherchips, behauptet jedoch, über 8 GB Speicher zu verfügen. People’s Daily Online bewertet die Aufladung im Matroschka-Stil: Nur durch aktives Lösen des „Sets“ können wir eine Zukunft haben Neues Entwicklungsparadigma für Vue3, ohne die Notwendigkeit von „ref/reactive“ und ohne die Notwendigkeit von „ref.value“. MySQL 8.4 LTS Chinesisches Handbuch veröffentlicht: Hilft Ihnen, den neuen Bereich der Datenbankverwaltung zu meistern Tongyi Qianwen GPT-4-Level-Hauptmodellpreis reduziert um 97 %, 1 Yuan und 2 Millionen Token