nebula-br Local-Store-Modus, schnelle Übung zum Aufbau aktiver und Standby-Cluster

12,23 Yuan Chuanghui·Shanghai Station, sprechen wir über die LLM-Infrastruktur

Da es sich bei der Online-Diagrammdatenbank derzeit um einen einzelnen Cluster handelt, ist die Datenmenge relativ groß und weist die folgenden Nachteile auf:

Einzelner Risikopunkt. Sobald der Cluster abstürzt oder einige Abfragen den gesamten Cluster zum Absturz bringen, sind alle Diagrammvorgänge betroffen.
Viele Optimierungsklassen sind schwierig durchzuführen, wirken sich jedoch auf Lese- und Schreibvorgänge aus, z. B. Kompakt, Balance Leader usw.;
Dual-Cluster sind auch beim Upgrade sehr vorteilhaft. Dies kann ohne Auswirkungen auf den Geschäftsbetrieb durchgeführt werden. Aktualisieren Sie beispielsweise zuerst den Standby-Cluster und dann den Hauptcluster. Kurz gesagt: Um die Online-Datenbank stabiler und hochverfügbar zu machen, ist es notwendig, Dual-Cluster aufzubauen.

Gründe, sich für BR-Werkzeuge zu entscheiden

Derzeit weiß ich, dass die Replikationscluster-Lösungen Folgendes umfassen:

Der neue Cluster schreibt die Daten neu. In diesem Fall müssen Sie entweder ein Programm schreiben, um den neuen Cluster zu scannen und dann zu importieren (zu langsam), oder Sie müssen übergeben nebula-exchange< basierend auf den Daten der unteren Tabelle. /span> Importieren Sie den neuen Cluster (muss über historische Daten verfügen)
(Unzuverlässig) Kopieren Sie die Nebeldaten vollständig in den neuen Cluster, siehe: [Import durch Kopieren von Daten] (Diese Methode I Der Test ist in der Testumgebung fehlgeschlagen.
Sichern Sie über nebula-br und stellen Sie es dann im neuen Cluster wieder her (dieser Artikel basiert auf dieser Methode)

Weil es für uns schwierig ist, die vollständigen historischen Daten online zurückzuverfolgen, und wir sie nicht anhand der unteren Tabelle rekonstruieren können. In Außerdem ist die Scan-Methode zu langsam. Daher wurde die BR-Methode gewählt.

Achtung :

Dieser Artikel basiert auf der Testumgebung zur Build-Verifizierung. Die Datenmenge ist relativ gering und wurde nicht online überprüft. Er dient nur als Referenz. Darüber hinaus ist die offizielle einfache BR-Praxis beigefügt.
(Es ist sehr wichtig) Bevor Sie die BR-Tool-Sicherung verwenden, müssen Sie zunächst deren Einschränkungen verstehen.BR-Dokument

Einführung in die Umwelt

Nebelversion: 3.6.0
Nebula-Installationspfad:/usr/local/nebula
nebula-metad-Dienstport: 9559 (kann über scripts/nebula-metad status im Installationsverzeichnis angezeigt werden)
Backup-Verzeichnis:/usr/local/nebula_backup

Sicherungsmethode: vollständig (vollständiges Image-Backup, teilweiser Speicherplatz kann ebenfalls angegeben werden)

3 alte Cluster-Maschinen (die bereits über historische Daten verfügen): 192.168.1.2, 192.168.1.3, 192.168.1.4
3 neue Cluster-Maschinen (keine Daten, Daten müssen vom alten Cluster kopiert werden): 192.168.2.2, 192.168.2.3, 192.168.2.4

Neue Cluster zeigen Hosts vor dem Backup an:

Der alte Cluster zeigt die Host-Situation vor dem Backup an:

Allgemeine Schritte

Alter Cluster-Installationsagent (auf jeder Maschine installiert) und br-Tools (wählen Sie eine beliebige Maschine zur Installation aus);
Agent für neuen Cluster installieren (muss auf jedem Computer installiert werden);
Verwenden Sie auf dem Computer, auf dem br im alten Cluster installiert ist, das br-Tool, um eine Sicherungsdatei zu generieren und Meta zu sichern, um die Metaadresse des alten Clusters auszuführen.
Kopieren Sie die Metadatei. Nur eine Maschine im alten Cluster verfügt über Meta in ihrem Sicherungsverzeichnis. Sie müssen die Metadatei auf andere Maschinen im alten Cluster kopieren.
Erstellen Sie auf dem neuen Cluster-Computer dasselbe Sicherungsverzeichnis wie auf dem alten Cluster. Beispiel: Das alte Cluster-Sicherungsverzeichnis lautet/usr/local/nebula_bak/BACKUP_2023_09_14_13_57_33 und der neue Cluster-Computer muss dasselbe Verzeichnis erstellen :/usr/local/nebula_bak/BACKUP_2023_09_14_13_57_33;
Kopieren Sie die Sicherungsdateien des alten Clusters in den neuen Cluster. Beachten Sie hierbei, dass jede Maschine im alten Cluster eine eigene Sicherungsdatei hat. Hier müssen Sie alle Sicherungsdateien in den neuen Cluster kopieren und zusammen integrieren , weil jede Maschine Die Verzeichnisnamen unter den Daten der Maschine haben alle die Form IP + PORT, sodass keine Duplizierung erfolgt;
Verwenden Sie auf der Maschine, auf der br im alten Cluster installiert ist, das br-Tool, um die Sicherungsdatei wiederherzustellen. Beim Wiederherstellen verweist das Meta auf die Metaadresse der neuen Maschine;

detaillierte Schritte

Installieren Sie den Agenten auf allen Maschinen im alten Cluster. Informationen zur Installationsmethode finden Sie unter: Angent-Installationseinführung, nehmen Sie die aktuelle Version Beispiel: Speichern Sie es nach dem Herunterladen von nebula-agent im Verzeichnis /usr/local/nebula/bin und erteilen Sie mit chmod +x nebula-agent ausführbare Berechtigungen:

192.168.1.2

nohup ./nebula-agent -agent="192.168.1.2:9999" -debug -meta="192.168.1.2:9559" > agent.log 2>&1 &

192.168.1.3

nohup ./nebula-agent -agent="192.168.1.3:9999" -debug -meta="192.168.1.3:9559"  > agent.log 2>&1 &

192.168.1.4

nohup ./nebula-agent -agent="192.168.1.4:9999" -debug -meta="192.168.1.4:9559"  > agent.log 2>&1 &

Laden Sie das br-Tool in das bin-Verzeichnis von nebula herunter, nennen Sie es nebula-br und verwenden Sie den Befehl chmod, um ausführbare Berechtigungen zu erteilen.

Zu diesem Zeitpunkt ist das Topologiediagramm der alten Clustermaschine:

(Alter Cluster) Wählen Sie die Maschine 192.168.1.4 aus, auf der das br-Tool installiert ist, und führen Sie den folgenden Befehl zur Sicherung aus:

./nebula-br backup full --meta="192.168.1.4:9559" --storage="local:///usr/local/nebula_backup"

(Alter Cluster) Die Sicherungsverzeichnisdetails jeder Maschine nach der Sicherung sind wie in der Abbildung dargestellt:

(Alter Cluster) Metadaten in das Sicherungsverzeichnis anderer Maschinen kopieren:

Hier wird von der Maschine 192.169.1.2 (nur diese Maschine generiert Meta, die nur auf dem führenden Knoten von Meta generiert wird) in die Maschinenverzeichnisse 192.168.1.3 und 192.168.1.4 kopiert:

Agent für neuen Cluster installieren:

192.168.2.2

nohup ./nebula-agent -agent="192.168.2.2:9999" -debug -meta="192.168.2.2:9559" > agent.log 2>&1 &

192.168.2.3

nohup ./nebula-agent -agent="192.168.2.3:9999" -debug -meta="192.168.2.3:9559"  > agent.log 2>&1 &

192.168.2.4

nohup ./nebula-agent -agent="192.168.2.4:9999" -debug -meta="192.168.2.4:9559"  > agent.log 2>&1 &

Diagramm der neuen Clusterdienst-Topologie:

Kopieren Sie die Sicherungsdateien des alten Clusters auf die neue Clustermaschine. Das fertige Topologiediagramm:

Kopieren Sie Daten vom alten Cluster-Computer /usr/local/nebula_backup in das Verzeichnis des neuen Cluster-Computers /usr/local/nebula_backup

(Alter Cluster) Wählen Sie die Maschine 192.168.1.4 aus, auf der das br-Tool installiert ist, und führen Sie den folgenden Befehl aus, um die Wiederherstellung auf dem neuen Cluster durchzuführen. Die Meta verweist hier auf die Metaadresse einer der neuen Clustermaschinen, und die Speicheradresse ist die Sicherungsadresse, die vom neuen Cluster im vorherigen Schritt erstellt wurde:

./nebula-br restore full --meta="192.168.2.4:9559" --storage="local:///usr/local/nebula_backup" --name="BACKUP_2023_09_14_13_57_33"

Beobachten Sie das Protokoll. Die Wiederherstellung von der alten Clustermaschine auf dem neuen Cluster wurde ohne Meldung eines Fehlers abgeschlossen. Sie können nebula-console verwenden, um eine Verbindung zum neuen Cluster herzustellen, um die Speicherplatzsituation anzuzeigen.

Neue Cluster-Show-Host-Situation:

Zusammenfassung

Tatsächlich empfiehlt der Beamte nicht den lokalen Modus zum Sichern und Wiederherstellen. Der Vorgang ist zu kompliziert und fehleranfällig. Es wird empfohlen, S3 oder NTF zum Mounten zu verwenden, sodass der alte Cluster nicht auf den neuen kopiert werden muss Cluster.

Dieser Artikel nimmt an der jährlichen Essay-Einwerbungsveranstaltung der NebulaGraph-Technologie-Community teil. Details zur Essay-Einwerbung:https://discuss.nebula-graph.com.cn/t/ Thema/13970

Wenn Sie der Meinung sind, dass dieser Artikel Sie inspiriert hat, denken Sie daran, mir ein ❤️ zu geben. Vielen Dank für Ihre Ermutigung