Die Datenbanktechnologie ist eine der wichtigsten Technologien im Bereich der Informationstechnologie. Mit der kontinuierlichen Weiterentwicklung von Wissenschaft und Technologie hat sich die Datenbanktechnologie rasant weiterentwickelt und ihr Anwendungsspektrum ist immer umfangreicher geworden.
Gleichzeitig haben Unternehmen im Falle eines kontinuierlichen und schnellen Wachstums des Datenvolumens höhere Anforderungen an Datenbanken gestellt, wie z. B. immer mehr Datenspeicherung und eine immer stärkere Leistung; während des Datenmigrationsprozesses müssen Unternehmen sicherstellen Die Kompatibilität von Datenbanken, die Einhaltung von Sicherheitsvorschriften stellen ebenfalls neue Anforderungen dar; die Diversifizierung von Anwendungsszenarien besteht darin, eine stärkere Anpassungsfähigkeit der Datenbank usw. zu fördern. Obwohl die derzeit beliebte verteilte Datenbank die Gesamtkapazität eines einzelnen Systems erhöhen kann, kann sie jedoch nicht das Verhältnis der Eingabekosten zum Einkommen aus der Geschäftskapazität lösen, dh den Gewinn, den eine Einheitstransaktion den Kunden bringt (Transaktionsgewinn).
Wie kann die Leistung der Datenbank weiter verbessert werden?
Zurück zur ursprünglichen Technologie der Datenbank: Die eigenständige Leistung der Datenbank steht wieder im Mittelpunkt. Wie Zhang Chengwei, Partner von Yunhe Enmo·Benyuan Data Technology, beim Data Technology Carnival 2023 sagte : „Genau wie bei einer Autobahn kann man die Fahrspuren kontinuierlich erweitern, aber wenn man das Verkehrsaufkommen der einzelnen Fahrspur verdoppeln kann, dann tatsächlich.“ Es ist eine schwierigere, aber effektivere Richtung.“ Die ursprüngliche Absicht von Yuanyuan Data ist genau diese, nämlich die Rückkehr zum Wesentlichsten der Datenbanktechnologie.
Zhang Chengwei, Partner von Yunhe Enmo Benyuan Data Technology
DTC 2023
Die Verbesserung der Standalone-Leistung ist schwierig, aber es gibt einen Weg
„Egal, wo die Datenbank ausgeführt wird, ob offline oder in der Cloud, in der privaten oder öffentlichen Cloud, verteilt oder zentralisiert, sie benötigt einen Kernel, um auf einer Maschine ausgeführt zu werden. Daher ist ein leistungsstarker eigenständiger Kernel ein technischer Schlüssel.“ „Der Punkt der Innovation ist der Ursprung der Datenbanktechnologie“, sagte Jin Yi, Partner von Yunhe Enmo·Origin Data Technology, beim Data Technology Carnival 2023 voller Emotionen .
Jin Yi, Partner von Yunhe Enmo·Benyuan Data Technology
Nach jahrzehntelanger Entwicklung haben die durch die Datenbanktechnologie gelösten Probleme alle Aspekte abgedeckt und eine relativ ausgereifte und vollständige Architektur gebildet. Neben der Bereitstellung von Datenspeicherfunktionen muss das Datenbanksystem auch die Anforderungen einer umfassenden Datenverwaltung erfüllen. Daher sollte die Leistung der Datenbank hier nicht aufhören und die eigenständige Leistung weiter verbessert werden. Erst wenn sich die Standalone-Leistung verbessert, können verteilte oder andere Datenbanktechnologien ein neues Niveau erreichen.
Um zu messen, ob eine Technologie erfolgreich im Datenbankkernel eingesetzt wird, gibt es einen sehr einfachen Standard: Unter der Voraussetzung einer festen Datenverarbeitungslast ist die Lösung, die Kunden die niedrigsten Kosten bieten kann, die beste Technologie. Durch die Integration der Kosteneingabe und der Einnahmen und Gewinne, die das Unternehmen den Kunden zur Verfügung stellt, führen die Originaldaten das Konzept des „Transaktionsgewinns“ ein: Je niedriger die Investitionskosten, desto höher die Transaktionsverarbeitungskapazität und desto höher die Geschäftskapazität Kunden. Wird zu höheren Transaktionsgewinnen führen. Nur wenn eine Gewinnspanne in der Transaktion vorhanden ist, ist es einfacher, eine Win-Win-Situation zwischen dem Datenbank- und Datendienstleister und dem Nutzer zu finden. Daher kann die Messung des Transaktionsgewinns der Lösung aus der Perspektive des gesamten Lebenszyklus den Wert, den die Datenbanktechnologie den Benutzern bringt, effektiver messen.
Im Vergleich zur zentralisierten Lösung verursacht die verteilte Lösung theoretisch zusätzliche Kosten für die Netzwerkkommunikation, was zu einer Erweiterung des Codepfads und Stabilitätsrisiken führt und den Transaktionsgewinn des Kunden nicht verbessern kann. Daher ist die Überprüfung der Leistung einer einzelnen Maschine zu einer wichtigen Lösung geworden, die in Betracht gezogen werden sollte. Wenn die eigenständige Leistung einen Durchbruch um eine Größenordnung erzielen kann, kann unter der Voraussetzung einer festen Geschäftskapazität die verteilte Lösung im kleinen Maßstab zu einer eigenständigen Lösung vereinfacht werden, und die verteilte Lösung im großen Maßstab kann den Umfang erheblich reduzieren der Systemimplementierung. Es vereinfacht nicht nur den Hardware-Einsatz, reduziert den Energieverbrauch und die CO2-Emissionen, sondern verbessert auch die Systemstabilität und senkt die Wartungskosten. Aus der Perspektive des gesamten Lebenszyklus können Kostensenkungen und Effizienzsteigerungen erreicht werden.
Bei der Erforschung des Ursprungs glaubt Jin Yi, dass die Leistung moderner, kostengünstiger Mainstream-Hardware von herkömmlichen Datenbankkernen nicht vollständig ausgenutzt werden kann. Zu den aktuellen Hardware-Leistungsmerkmalen fasst er Folgendes zusammen: CPU mit vielen Kernen, Speicher mit großer Kapazität und Hochgeschwindigkeits-SSD-Festplatte. Er schlug vor, dass die Verwendung neuer Kernimplementierungsideen und neuer Algorithmen die Leistung moderner Hardware voll ausschöpfen kann. Reichweite Das Ziel ist eine um Größenordnungen verbesserte Leistung der Datenbank-Standalone-Datenbank (nächste Generation). Speziell:
Die Single-Core-Rechenleistung einer einzelnen Maschine ist begrenzt, und die vielen Kerne einer einzelnen Maschine können durch den Mengenvorteil eine große parallele Rechenleistung bilden.
Ein großer Speicher kann häufig verwendete Hot-Daten in einem Transaktionssystem fast vollständig im Speicher speichern, was bedeutet, dass sich das Design und die Implementierung des Datenbankkerns ändern können – wobei die Geschäftsdaten im Hauptspeicher als Kern der Datenberechnung und -optimierung dienen , darüber nachzudenken, wie man es effizient nutzt, anstatt die Daten auf der Festplatte zu speichern. Daher kann die traditionelle Idee der Datenbankkernel-Implementierung, deren Hauptzweck darin besteht, häufige langsame E/A zu optimieren, in eine neue Datenbankkernel-Implementierungsidee umgewandelt werden, die den Leistungsengpass zwischen CPU und DRAM-Hauptspeicher optimiert.
SSD-Hochgeschwindigkeitsfestplatten sind derzeit über PCle mit SSDs verbunden, und eine einzelne Festplatte kann eine I/O-Bandbreite auf GB-Ebene pro Sekunde bereitstellen. Durch schnelle I/O-Funktionen können kalte Daten effizient entfernt oder zurück in den DRAM-Hauptspeicher verschoben werden Werden heiße Daten, die das oben erwähnte Design und die Implementierung unterstützen, die sich auf heiße Daten im Speicher konzentrieren.
Bei Datenberechnungen mit einem großen Anteil rund um den DRAM-Hauptspeicher können 93 % der ungültigen Anweisungen im kritischen Pfad komprimiert und durch die Einführung neuer Datenstrukturen und Algorithmen weitestgehend eliminiert werden, was eine Grundlage für eine 10-fache Verbesserung bietet eigenständige Leistung.
Wenn sich das Datenbank-Computing stärker auf den Hauptspeicher konzentriert, liegt der Schwerpunkt auf der Beseitigung von Engpässen bei der CPU- und Hauptspeicherleistung und der Verbesserung der tatsächlichen Effizienz des CPU-Computings. Dieses Anliegen wurde aufgrund traditioneller Designvorstellungen ebenfalls ignoriert. Die CPU-Cache-Effizienz wird zum Schlüssel zur Lösung dieses Engpasses. Zur technischen Optimierung gehört die Verbesserung der CPU-Cache-Trefferrate, die Reduzierung der CPU-Cache-Konsistenzsynchronisierung und die Lösung des Problems des CPU-Stillstands und des Wartens aufgrund unzureichender Affinität.
Herkömmliche Datenbanken verfügen über eine große Anzahl zentralisierter Zugriffsobjekte in der internen Implementierung jedes Hauptmoduls. Im Szenario einer groß angelegten Parallelität vieler Kerne beeinträchtigen Überlastungs-Hotspots die Leistung von Many-Core-Computing erheblich. Für die Aufteilung sind neue Technologien erforderlich Die Konflikte zwischen parallelen Zugriffen so weit wie möglich beseitigen. , um parallele Effizienz freizusetzen.
DTC 2023
Primitive Daten in Aktion
Zhang Chengwei sagte, dass ihr Streben nach Technologie „Beharrlichkeit“ genannt werden könne. Sie glauben immer, dass die Herstellung von Technologie keine ausgefallene Sache ist, orientieren sich an der tatsächlichen Marktnachfrage und werden darauf bestehen, Produkte zu polieren und Forschung und Entwicklung zu innovieren.
Derzeit hat Yunhe Enmo·Benyuan Data hauptsächlich zwei Produkte entwickelt: MogDB und Uqbar.
MogDB ist eine relationale Datenbank auf Unternehmensebene, die auf dem Open-Source-Kernel openGauss basiert und deren Kern für Transaktionsszenarien geeignet ist.
Uqbar ist eine hyperkonvergente Zeitreihendatenbank, die auf dem Open-Source-Kernel openGauss basiert. Sie kann zur Verwaltung großer Zeitreihendaten und auch zur Verwaltung relationaler Daten in OLTP-Szenarien verwendet werden. Sie unterstützt auch komplexe Korrelationsabfragen über Zeitreihendaten und relationale Daten hinweg. Bieten Sie Datenlösungen aus einer Hand.
DTC 2023
Inländische Datenbanken haben noch einen langen Weg vor sich
Während inländische Datenbanken boomen, stehen sie auch vor mehreren großen Problemen:
Zuverlässigkeit und Stabilität müssen gestärkt werden. Die Datenbank ist der Kern des gesamten Anwendungssystems. Sobald sie lahmgelegt ist, bedeutet dies, dass die Lageranwendung und das Geschäft unterbrochen werden.
Das Betriebs- und Wartungspersonal befürchtet, dass sich die Betriebs- und Wartungsfähigkeiten und -methoden nach der Migration auf die inländische verteilte Datenbank zu stark von den ursprünglichen unterscheiden und die Datenbank nicht effektiv betrieben und gewartet werden kann.
Die Kosten für die Aktualisierung des ursprünglichen Anwendungssystems sind relativ hoch und es bestehen Bedenken hinsichtlich der Kompatibilität der Architektur und Anwendungen.
Viele inländische Datenbanken sind nur Pakete oder geringfügige Modifikationen ausländischer Open-Source-Datenbanken, und es ist schwierig, sie als echte inländische Datenbanken zu bezeichnen.
Natürlich hat sich die Systemumgebung, mit der inländische Datenbank-Basissoftware konfrontiert ist, im Vergleich zu den Vorjahren stark verändert. Die Entwicklung und das Wachstum inländischer Datenbanken haben noch einen langen Weg vor sich, und das anhaltende Beharren auf langfristigen Investitionen ist der größte Impuls für ihre Entwicklung .
Änderungen bei Datenanwendungen haben dazu geführt, dass Datenbanken über eine größere Datenspeicherkapazität, mehr Datenverarbeitungsmodelle und schnellere Datengeschäftsreaktionsmöglichkeiten verfügen müssen, und die gesamte Technologieentwicklung ist in eine postrelationale Phase eingetreten. Bei der Verfolgung verteilter Architekturdesigns und szenariobasierter Modellbildung sollte die Branche auf den Kern der Datenbanktechnologie achten, sich bei der Entwicklung von Produkten an die Essenz des Kundenerfolgs halten, an technologischen Innovationen festhalten, die die Wahrheit aus Fakten suchen, und sich für die Entwicklung und Entwicklung entscheiden Innovationsroute ausgehend vom Kern einer einzelnen Maschine, sodass verteilt Die Implementierung und Migration in die Cloud ist effizienter und effektiver.
„Der Weise sieht im Unsichtbaren, und der Weise denkt in den Kinderschuhen.“ Es besteht die Hoffnung, dass mehr Unternehmen wie Yunhe Enmo·Benyuan Data zur ursprünglichen Technologie zurückkehren und schwierige, aber korrekte Dinge tun.
——————————————————
Urheberrechtserklärung: Dieser Artikel ist ein Originalartikel des CSDN-Bloggers „CSDN Cloud Computing“ und folgt der CC 4.0 BY-SA-Urheberrechtsvereinbarung. Zum Nachdruck fügen Sie bitte den Originalquellenlink und diese Erklärung bei.
Ursprünglicher Link: https://blog.csdn.net/FL63Zv9Zou86950w/article/details/130366953
Über primitive Daten
Yuanyuan Data ist ein innovatives Unternehmen für Basissoftware für Datentechnologie, das von Fachleuten aus den Bereichen Technologie, Produkte, Geschäft und Betrieb in Zusammenarbeit mit Cloud und Enmo gegründet und gegründet wurde. Das Unternehmen hat sich der Entwicklung sicherer, stabiler, effizienter, agiler und wirtschaftlicher Unternehmensebene verschrieben Software für den globalen Markt. Datenbanksoftware.
Datengesteuert, die Zukunft erreichen, Cloud und Enmo, dem Vertrauen gerecht werden!
Yunhe Enmo wurde 2011 gegründet und ist ein Anbieter intelligenter Datentechnologie mit der Mission „datengesteuerter, zukünftiger Erfolg“. Wir setzen uns dafür ein, Datentechnologie in jede Branche, jede Organisation und jeden zu bringen und eine datengesteuerte, intelligente Zukunft aufzubauen.
Cloud und Enmo bieten Dienstleistungen in den Bereichen Datenspeicherung (verteilte Speicherung, kontinuierlicher Datenschutz), Management (Datenbank-Basissoftware, Datenbank-Cloud-Management-Plattform, Datentechnologiedienste), Verarbeitung (Qualitätskontrolle bei der Anwendungsentwicklung, Datenmodellkontrolle, Beratung zur digitalen Transformation) und Anwendung (Datenservice-Management-Plattform, intelligente Datenanalyse und -verarbeitung, Datenschutz-Computing) und andere Bereiche bieten zuverlässige Produkte, Dienstleistungen und Lösungen für verschiedene Organisationen, konzentrieren sich auf Benutzerbedürfnisse, schaffen weiterhin Mehrwert für Kunden, stimulieren das Datenpotenzial und erreichen Agilität und Effizienz zukünftige unermüdliche Bemühungen in der digitalen Welt.