Der Weg zum Testen des Wachstums für Big-Data-Neulinge

Einführung

Nachdem ich 2022 über eine Rekrutierung an Schulen zu JD.com gekommen bin, war ich in der Testabteilung des Rechenzentrums mit der Testentwicklung beschäftigt. Nach dem Abschluss sind die meisten schriftlichen Dokumente Testpläne und Testberichte, und ich habe selten die Gelegenheit, meine Fortschritte im Programmieren zu überprüfen und zusammenzufassen. In der Kolumne „Up Technician“ blickte ich endlich nach der Arbeit zurück und machte eine kurze Zusammenfassung meiner letzten zwei Jahre.

Dieser Artikel ist eine Zusammenfassung der Entwicklung eines Big-Data-Testanfängers nach seinem ersten Einstieg in den Arbeitsplatz. Er befasst sich auch mit der Verwirrung von Neulingen, die den Job betreten, und spricht auch über einige gesammelte Erfahrungen. Ich hoffe, dass dieser Artikel für verwirrte Neulinge und Studenten, die sich für Big-Data-Tests interessieren, hilfreich sein kann.

1. Das erste Mal den Arbeitsplatz betreten: Wir stehen an einer unübersichtlichen Kreuzung

Mein Bachelor- und Master-Abschluss war sowohl in der Informatik als auch in der Technik. Während meines Studiums war ich auf die Einbettung von Netzwerken ausgerichtet, aber ich hatte auch eine Vorliebe für betriebswirtschaftliche Tests über Big Data. Der Leiter sagte nur zu mir: „Am Anfang wird es nicht normal sein. In der Schule wirst du damit höchstwahrscheinlich nicht konfrontiert werden. Du wirst nach und nach damit anfangen. Das macht nichts. Lass dir Zeit.“

Als ich zum ersten Mal mit der Arbeit in Kontakt kam, kann ich nur sagen, dass ich „nicht verstehen“ kann.

Es gibt viele Eigennamen und englische Abkürzungen im Bereich Big Data, wie zum Beispiel „Cluster“, „Warteschlange“, „RSS“, „NN“, „DN“, „NS“ usw. Als ich mit diesen unbekannten Konzepten konfrontiert wurde, war ich Ich war wirklich ein wenig in Panik, also habe ich mich für die „studentischste“ Methode entschieden – das Lesen.

Es ist unbestreitbar, dass das Lesen von Büchern nützlich ist, aber die Effizienz ist bei der tatsächlichen Arbeit zu gering. Viele Transformationen von Big-Data-Speicher- und Berechnungsmaschinen sind selbst recherchiert und können auf bestimmte praktische Hintergründe zurückgreifen Wir führen Prüfarbeiten durch.

Im Vergleich zu Fachbüchern sind Teamdokumente und mutige Fragen für uns der Ausweg aus dem Berufsalltag.

Teamdokumente zeichnen nicht nur historische Anforderungstestaufzeichnungen auf, um uns zu helfen, den Produkthintergrund zu verstehen, sondern durch die gute Nutzung der Suchfunktion können wir auch unbekannte Begriffe und Konzepte schnell verstehen und die Kommunikationseffizienz verbessern. Darunter verfügt das Produktions-, Forschungs- und Testteam über einige selbst benannte Microservices und Gadgets. Hätten wir das Team nicht durchsucht oder direkt nachgefragt, hätten wir möglicherweise viel unnötige Energie aufgewendet, um sie zu verstehen. Daher müssen Sie proaktiver sein, mehr Fragen stellen und mehr kommunizieren, damit Sie sich in die Gruppe integrieren und schneller mit der Arbeit beginnen können.

Rückblickend vermisse ich die „Newcomer-Zeit“ immer noch sehr. Wenn Sie nicht jeden Tag nach Ihrem Mentor suchen, wird Ihr Mentor zu Ihnen kommen und fragen: „Haben Sie heute Fragen?“ Er wird Ihre Fragen geduldig beantworten, egal wie einfach sie sind. Darüber hinaus sind monatliche Berichte für Neueinsteiger und die 1v1-Kommunikation zwischen den Abteilungen gute Möglichkeiten. Wenn Sie als „neugeborenes Kalb“ Zweifel und Vorschläge haben, können Sie direkt mit der Führungskraft kommunizieren. Obwohl es in dieser Zeit Schwierigkeiten und Herausforderungen gab, habe ich gerade aufgrund der Anhäufung in dieser Zeit nach und nach eine Karriere im Bereich Big-Data-Tests eingeschlagen.

2. Der Weg zum Fortschritt: Das Töten von Monstern und das Aufrüsten sollte Schritt für Schritt erfolgen

2.1 Schritt 1: Big-Data-Computing-Aufgabe einreichen

Im Vergleich zu herkömmlichen Softwaretests besteht der Kern des Big-Data-Tests darin, die Genauigkeit und Zuverlässigkeit der Datenanalyse und -verarbeitung zu überprüfen, um sicherzustellen, dass das Big-Data-System große Datenmengen effizient und stabil verarbeiten kann. Es gibt einen bestimmten Schwellenwert für Big-Data-Tests, der erfordert, dass wir nicht nur über grundlegende Software-Testkenntnisse verfügen, sondern auch mit der Verwendung von Big-Data-Plattformen vertraut sind. Daher könnte der erste Schritt darin bestehen, eine Rechenaufgabe auf der Big-Data-Plattform einzureichen .

Es hört sich einfach an, tatsächlich steckt aber jede Menge Vorbereitungsarbeit dahinter:

1. Bestehen Sie die Big-Data-Plattform-Prüfung : Die Prüfung bietet bestimmte Schulungskurse, die als Leitfaden für den Einstieg in die Plattform dienen und uns helfen können, ein allgemeines vorläufiges Verständnis der Big-Data-Plattform zu erlangen.
2. Beantragen Sie Berechtigungen : einschließlich Datenberechtigungen und Kontoberechtigungen zum Betreiben von Daten
3. Erstellen Sie eine neue Big-Data-Aufgabe : Nachdem der Berechtigungsantrag genehmigt wurde, können Sie das Konto zum Lesen von Daten verwenden. Dies ist eine einfache Big-Data-Aufgabe.

Zu diesem Zeitpunkt wurde eine Aufgabe aus Benutzersicht erfolgreich eingereicht, es gibt jedoch noch viel Arbeit auf der Big-Data-Plattform und als Tester zu erledigen.

2.2 Schritt 2: Beleuchten Sie die Big-Data-Produktkarte

Aus dem Prozess der Übermittlung einer Big-Data-Aufgabe ist leicht zu erkennen, dass die Big-Data-Plattform viele Dienste bereitstellt, darunter nicht nur Datenberechtigungsverwaltung, Kontoverwaltung, Prozesscenter usw. direkt für Benutzer, sondern auch aufgabenbezogene Berechnungs-Engines Berechnung nach Aufgabenübermittlung, Planungs-Engine, Speicherung usw.

Bei der Verfolgung von Anforderungen in einem frühen Stadium wird es immer endlose Fragen geben.

„Die Aufgabe kann die Computerumgebung nicht finden?“
„Warum haben Sie keine Erlaubnis, den Zähler abzulesen?“
„Wo kann ich die Metadaten der Tabelle sehen?“
......

Es gibt nur einen Haupttestdienst, aber es gibt viele damit verbundene Dienste. Möglicherweise wissen Sie zunächst nicht, wo Sie nachsehen oder wie Sie das Hintergrundwissen überprüfen sollen, das Sie benötigen. Die Nachfrage nach Big-Data-Speicher- und Rechenmaschinen kommt oft aus Forschung und Entwicklung, und der Typ ist oft technologische Transformation. Obwohl die Transformation nur ein bestimmtes Glied in der langen Datenverarbeitungsverbindung ist, ist die Sortierung der Testszenarien untrennbar damit verbunden Bekanntheit des gesamten Links. Wenn die grundlegenden Dienste und Funktionsmerkmale der Big-Data-Plattform nicht klar sind, kann die Qualitätssicherungsarbeit nicht abgeschlossen werden.

Neben der Anhäufung des täglichen Bedarfs müssen wir auch die Initiative ergreifen, Big-Data-Plattformen zu erkunden. Als Big-Data-Test- und Entwicklungsingenieur ist das Erkunden und Aufhellen unserer eigenen Big-Data-Produktkarte für uns eine Pflichtveranstaltung. Die Produkte der Big-Data-Plattform sind untrennbar mit Daten und Datenverarbeitungsaufgaben verbunden. Unter diesen beiden Gesichtspunkten ist es besser, über dieses Problem nachzudenken.



 

 

Die Vertrautheit mit den Diensten der Big-Data-Plattform ist eine Grundvoraussetzung für Big-Data-Tests, damit wir das Produktions- und Forschungsteam bei der Durchführung von Risikobewertungen besser unterstützen können. Darüber hinaus stellt die Big-Data-Plattform selbst den Benutzern eine Vielzahl von Datenverwaltungstools zur Verfügung, die auch unsere Arbeit unterstützen können. Wenn Sie beispielsweise Metadaten abfragen, müssen Sie kein eigenes Skript schreiben, um tabellenbezogene Informationen anzuzeigen, sondern können die Struktur, den Zugriff, die Speicherung und andere detaillierte Informationen der Tabelle einfach direkt auf der Plattform abfragen.

2.3 Schritt drei: Bereiten Sie sich auf die große Werbeaktion vor

Große Verkäufe führen häufig zu einem erheblichen Anstieg des Datenverkehrs und einem Anstieg der Anforderungen an die Datenverarbeitung. Um den stabilen Betrieb der Dienste während der großen Werbeaktivitäten sicherzustellen, wird die Big-Data-Plattform über einige wichtige Vorbereitungsmaßnahmen verfügen, wie z. B. Stresstests, Notfallübungen, Notfallpläne usw.

Als ich zum ersten Mal in das Unternehmen eintrat und die Vorbereitungen von Double Eleven erlebte, war ich für einen neuen Big-Data-Dienst verantwortlich, sodass viele seiner großen Werbevorbereitungspläne von Grund auf eine Herausforderung darstellten. Aufgrund mangelnder Erfahrung erlebte ich auch meine ersten Überstunden über Nacht bei JD.com.

Die Kernperiode kann nicht unterdrückt werden

Obwohl vorhandene Stresstest-Tools Stresstests auf Schnittstellenebene unterstützen können, bestehen immer noch Probleme wie die Organisation der Stresstestzeit, die Bestimmung der Stresstestdauer und des Verkehrsaufkommens sowie die Quelle der Stresstestdaten. Aufgrund mangelnder Erfahrung war die Vorbereitungszeit lang und der eigentliche Betrieb konnte erst am Schlusstag beginnen. Und als ich den Betrieb starten wollte, wusste ich nichts von dem Problem in der Kernperiode, aber ich stoppte die Aktion rechtzeitig, nachdem meine F&E-Klassenkameraden mich daran erinnert hatten, dass in der aktuellen Periode Risiken bestehen. Die Stresstestumgebung kann normalerweise nicht völlig unabhängig von der Online-Umgebung sein, ganz zu schweigen davon, dass wir einen Stresstest durchführen, um einen neuen Dienst zu betreiben, daher müssen wir die Durchführung von Stresstests während der Kernperioden vermeiden.

Die Leseschnittstelle erzeugt auch schmutzige Daten

Bei der Sortierung der Stresstestschnittstelle besteht der Zweck der Unterscheidung zwischen Leseschnittstelle und Schreibschnittstelle darin, die Datenkonsistenzprobleme, die während des Stresstestprozesses auftreten können, besser zu verstehen und zu kontrollieren. Dies führt uns aber auch in gewissem Maße in die Irre: Da die Stresstest-Schnittstelle als Leseschnittstelle identifiziert wird und die Stresstest-Daten unabhängig erstellt werden, haben wir nicht berücksichtigt, dass diese Schnittstelle möglicherweise prüfungsbezogene Schreibvorgänge enthält. Erst am Ende des Stresstests erhielten wir einen Alarmanruf von einem nachgelagerten Dienst, der uns darüber informierte, dass sich unser Stresstest auf dessen Dienste ausgewirkt hatte, und uns wurde klar, dass die Leseschnittstelle auch schmutzige Daten generieren würde.

Notfallpläne können nicht nur Pläne, sondern keine Aktionen enthalten

Der Notfallplan ist eine Notfallreaktionsmethode für Online-Probleme und sein Betrieb birgt gewisse Risiken. Ich erinnere mich, dass wir während der Planüberprüfungsphase ursprünglich geplant hatten, in der Pre-Launch-Umgebung Ressourcen für die Durchführung von Bohrarbeiten zu beantragen, da es sich um hochriskante Operationen handelte. LDR stellte jedoch eine zentrale Frage: Was sollten Sie tun, wenn während der großen Aktion Probleme auftreten, wenn Sie während der Vorbereitungszeit keine tatsächlichen Operationen durchführen? Er betonte, dass nur durch die frühzeitige Erkennung und Lösung von Problemen die Stabilität von Online-Diensten gewährleistet werden könne.

Bisher war ich an den Vorbereitungen für drei große Werbeaktionen beteiligt und ich kann deutlich spüren, dass die Vorbereitungspläne und Durchführungsprozesse für die großen Werbeaktionen immer ausgereifter werden. Auch in diesem Zusammenhang müssen wir den Vorbereitungsplan strikt befolgen, sicherstellen, dass wichtige operative Schritte mit dem Produktentwicklungsteam koordiniert werden, und relevante Informationen im Voraus bekannt geben, um sicherzustellen, dass vor- und nachgelagerte Dienste und Plattformbenutzer Risiken vorhersagen können.

Darüber hinaus werden die Vorbereitungen für große Werbeaktionen auf der Grundlage der bestehenden Plattform des Unternehmens nach und nach zur normalen Arbeit, und die Vorbereitungsaufgaben wurden nach und nach institutionalisiert und automatisiert, sodass zuverlässige Lösungen entstehen. Diese Reihe von Garantiemaßnahmen für Online-Dienste kann nicht nur eine solide Unterstützung für große Werbeaktionen bieten, sondern auch Risikobewertungen für jede Diensteinführung durchführen, um sicherzustellen, dass Probleme rechtzeitig erkannt und früher gelöst werden können.

3. Fähigkeitsüberprüfung: einige Vorschläge für Anfänger

Für Studierende, die sich für Big-Data-Tests interessieren, sind die folgenden vier Punkte Vorbereitungshinweise, die Beachtung verdienen:

1. Beherrschen Sie die Grundlagen von Big Data : Machen Sie sich mit den Kernkonzepten von Big-Data-Verarbeitungsframeworks wie Hadoop und Spark und ihren Anwendungen in tatsächlichen Szenarien vertraut
2. Programmier- und Skriptfähigkeiten : Beherrschen Sie mindestens eine Programmiersprache (z. B. Java oder Python) und beherrschen Sie grundlegende Shell-Befehle
3. Prüfung der beruflichen Fähigkeiten : Sie verfügen über solide Grundkenntnisse im Softwaretest und verstehen grundlegende Methoden der Qualitätssicherung
4. Lern- und Problemlösungsfähigkeiten : Sie verfügen über die Fähigkeit, neue Technologien schnell zu erlernen und problemlösungsorientiert zu sein, um komplexe Probleme effizient zu analysieren und zu vereinfachen.

Ps. Diese Punkte sind den Einstellungsanforderungen sehr ähnlich, sodass Sie auch den Einstellungsinformationen der Positionen, an denen Sie interessiert sind, mehr Aufmerksamkeit schenken und Ihre beruflichen Fähigkeiten basierend auf den Stellenanforderungen weiterentwickeln können ~

4. Die Zukunft ist zum Greifen nah: die steigende technologische Welle

Unter den verschiedenen neuen Anwendungen, die ständig neu entstehen, durchlaufen Testtools und Qualitätssicherungsmethoden auf Anwendungsebene einen Prozess der Reife und des Fortschritts. Mit der praktischen Erprobung vieler Anwendungen sind die für eine neue APP und Webanwendung erforderlichen Benchmark-Tests vor der Markteinführung sowie Online-, Überwachungs- und Notfall-Selbstheilungsmethoden zunehmend standardisiert und systematischer geworden. Im Vergleich zum Testen auf Anwendungsebene hängt das Testen von Big-Data-bezogenen Produkten jedoch stärker von den individuellen beruflichen Fähigkeiten ab und erfordert in der Regel eine höhere berufliche Schwelle. Daher ist die Abdeckung von Big-Data-Tests häufig geringer als die von Tests auf Anwendungsebene. Dies bietet uns viele potenzielle Möglichkeiten zum Erkunden.

1. Funktionstest -> Qualitätssicherung : Die Testarbeit hat sich schrittweise vom Funktionstest zur Qualitätssicherung verlagert. Dies erfordert Testarbeiten, die sich nicht nur auf das Produkt selbst konzentrieren, sondern auch die Qualität und Stabilität der gesamten Plattform abdecken. Bevor wir mit dieser Aufgabe in Kontakt kommen, verwenden wir möglicherweise „diandiandian“, um den Inhalt der Testarbeit zu beschreiben. Im Kontext der Qualitätssicherung umfasst die Testarbeit jedoch auch die Erstellung von Leistungstools, die Sicherung der Einhaltung von Sicherheitsbestimmungen, die Formulierung von Prozessspezifikationen usw. Maße.
2. Technische Leistung : Eine der Hauptaufgaben von Testentwicklungsingenieuren besteht darin, Leistungstools zu warten und zu verbessern. Obwohl automatisierte Testtools für Big-Data-Plattformen von entscheidender Bedeutung sind, basieren die Datengenerierung, die vollständige Prozessüberwachung und andere Aspekte immer noch hauptsächlich auf manuellen Vorgängen. Die Automatisierung dieser Links ist eine Herausforderung für uns.

Jedes Jahr treten JD-Stars wie ich JD.com bei und treten dem Rechenzentrum bei. Vielleicht können Sie wie ich bei Null anfangen, aber ich glaube, Sie werden hier nicht enttäuscht sein. Egal, ob Sie auf Schwierigkeiten stoßen oder Ihre Talente unter Beweis stellen möchten, es gibt ein Team, das Ihnen zur Seite steht und Ihnen hilft, und es gibt Senioren, die den Weitblick haben, Sie anzuleiten. Wir erwarten Sie bei JD.com.

Ich beschloss , auf Open-Source -Industriesoftware zu verzichten – OGG 1.0 wurde veröffentlicht, das Team von Ubuntu 24.04 LTS wurde offiziell entlassen ". Fedora Linux 40 wurde offiziell veröffentlicht. Ein bekanntes Spieleunternehmen veröffentlichte neue Vorschriften: Hochzeitsgeschenke von Mitarbeitern dürfen 100.000 Yuan nicht überschreiten. China Unicom veröffentlicht die weltweit erste chinesische Llama3 8B-Version des Open-Source-Modells. Pinduoduo wird zur Entschädigung verurteilt 5 Millionen Yuan für unlauteren Wettbewerb. Inländische Cloud-Eingabemethode – nur Huawei hat keine Sicherheitsprobleme beim Hochladen von Cloud-Daten
{{o.name}}
{{m.name}}

Ich denke du magst

Origin my.oschina.net/u/4090830/blog/11059493
Empfohlen
Rangfolge