introduction
Après avoir rejoint JD.com en 2022 grâce au recrutement scolaire, j'ai été engagé dans le développement de tests dans le département de tests des centres de données. Après l'obtention de mon diplôme, la plupart des documents écrits sont des plans de test et des rapports de test, et j'ai rarement l'occasion de revoir et de résumer mes progrès en matière de codage. A travers la rubrique "Up Technician", j'ai enfin pu revenir sur mon travail et faire un petit résumé de mes deux dernières années.
Cet article est un résumé de la croissance d'un novice en matière de tests Big Data après son entrée sur le lieu de travail. Il inclut la confusion des débutants qui entrent dans le poste et parle également d'une certaine expérience accumulée. J'espère que cet article pourra être utile aux nouveaux arrivants confus et aux étudiants intéressés par les tests Big Data.
1. Entrer sur le lieu de travail pour la première fois : se trouver à un carrefour confus
Mes diplômes de premier cycle et de maîtrise étaient tous deux en informatique et en technologie. Au cours de mes études supérieures, mon orientation de recherche était l'intégration de réseaux. Bien que j'aie eu une brève expérience de stage, j'étais également orienté vers les tests commerciaux. sur les mégadonnées. Le leader m'a seulement dit : "Ce ne sera pas normal au début. Tu ne seras probablement pas exposé à ça à l'école. Tu commenceras petit à petit. Ce n'est pas grave. Prends ton temps."
Lorsque j'ai découvert le travail, je peux seulement dire que je "ne comprends pas".
Il existe de nombreux noms propres et abréviations anglaises dans le domaine du big data, comme « cluster », « file d'attente », « RSS », « NN », « DN », « NS », etc. Face à ces concepts peu familiers, j'étais vraiment un peu paniqué , alors j'ai choisi la méthode la plus "étudiante" - la lecture.
Il est indéniable que la lecture de livres est utile, mais l'efficacité est trop faible. De plus, dans le travail réel, de nombreuses transformations des moteurs de stockage et de calcul du Big Data sont auto-recherchées et s'appuient sur certaines connaissances pratiques. nous effectuons des travaux de tests.
Par rapport aux livres professionnels, les documents d'équipe et les questions audacieuses sont pour nous une porte de sortie pour entrer sur le lieu de travail.
Les documents de l'équipe enregistrent non seulement les enregistrements historiques des tests d'exigences pour nous aider à comprendre l'historique du produit, mais également en faisant bon usage de la fonction de recherche, nous pouvons rapidement comprendre des termes et des concepts inconnus et améliorer l'efficacité de la communication. Parmi eux, l'équipe de production, de recherche et de test dispose de microservices et de gadgets autoproclamés. Si nous n'avions pas cherché dans l'équipe ou demandé directement, nous aurions peut-être dépensé beaucoup d'énergie inutile pour les comprendre. Par conséquent, vous devez être plus proactif, poser plus de questions et communiquer davantage, afin de pouvoir vous intégrer dans le groupe et commencer à travailler plus rapidement.
Avec le recul, la « période des nouveaux arrivants » me manque encore beaucoup. Chaque jour, si vous ne cherchez pas votre mentor, votre mentor viendra vers vous et vous demandera : « Avez-vous des questions aujourd'hui ? » Ils répondront patiemment à vos questions, aussi simples soient-elles. De plus, les rapports mensuels pour les nouveaux arrivants et la communication 1v1 entre les départements sont de bonnes opportunités. En tant que « veau nouveau-né », si vous avez des doutes et des suggestions, vous pouvez communiquer directement avec le leader. Bien qu'il y ait eu des difficultés et des défis au cours de cette période, c'est précisément grâce à l'accumulation au cours de cette période que je me suis progressivement lancé dans une carrière dans le domaine des tests Big Data.
2. La voie de l'avancement : tuer des monstres et améliorer sa situation doivent se faire étape par étape
2.1 Étape 1 : Soumettre la tâche de calcul Big Data
Par rapport aux tests logiciels traditionnels, l'essentiel des tests Big Data est de vérifier l'exactitude et la fiabilité de l'analyse et du traitement des données afin de garantir que le système Big Data peut traiter des données massives de manière efficace et stable. Il existe un certain seuil pour les tests Big Data, ce qui nous oblige non seulement à posséder des compétences de base en matière de tests de logiciels, mais également à être familier avec l'utilisation des plateformes Big Data. Par conséquent, la première étape pourrait être de soumettre une tâche informatique sur une plateforme Big Data .
Cela paraît simple, mais en réalité il y a beaucoup de travail de préparation :
À ce stade, une tâche a été soumise avec succès du point de vue de l'utilisateur, mais il vous reste encore beaucoup de travail à faire sur la plateforme Big Data et en tant que testeur.
2.2 Étape 2 : Éclairer la carte des produits Big Data
À partir du processus de soumission d'une tâche Big Data, il est facile de voir que la plate-forme Big Data fournit de nombreux services, notamment non seulement la gestion des autorisations de données, la gestion des comptes, le centre de processus, etc. directement aux utilisateurs, mais également des moteurs de calcul liés à la tâche. calcul après soumission des tâches Moteur de planification, stockage, etc.
Lors du suivi des exigences à un stade précoce, des questions sans fin se poseront toujours.
« La tâche ne parvient pas à trouver l'environnement informatique ?
"Pourquoi n'as-tu pas la permission de relever le compteur ?"
"Où puis-je voir les métadonnées du tableau ?"
......
Il n'existe qu'un seul service de test principal, mais de nombreux services connexes sont impliqués. Vous ne savez peut-être pas où vérifier ni comment vérifier les connaissances de base que vous devez connaître au début. La demande en matière de stockage de Big Data et de moteurs de calcul provient souvent de la recherche et du développement, et il s'agit souvent d'une transformation technologique. Bien que la transformation ne soit qu'un certain maillon du long maillon du traitement des données, le tri des scénarios de test est indissociable du processus. familiarité de l'ensemble du lien. Si les services de base et les caractéristiques fonctionnelles de la plateforme Big Data ne sont pas clairs, le travail d'assurance qualité ne peut pas être achevé.
En plus de l'accumulation des besoins quotidiens, nous devons également prendre l'initiative d'explorer les plateformes Big Data. En tant qu'ingénieur de test et de développement Big Data, explorer et éclairer notre propre carte de produits Big Data est un cours obligatoire pour nous. Les produits de la plateforme big data sont indissociables des données et des tâches de traitement des données. Il vaut mieux réfléchir à cette problématique sous ces deux points.
La connaissance des services de la plateforme Big Data est une exigence de base pour les tests Big Data, afin que nous puissions mieux aider l'équipe de production et de recherche à réaliser des évaluations des risques. En outre, la plateforme Big Data elle-même offre aux utilisateurs une large gamme d’outils de gestion de données qui peuvent également faciliter notre travail. Par exemple, une requête de métadonnées, plutôt que d'écrire votre propre script pour afficher les informations relatives à la table, vous pouvez facilement interroger la structure, l'accès, le stockage et d'autres informations détaillées de la table directement sur la plateforme.
2.3 Troisième étape : Préparez-vous pour la grande promotion
Les ventes importantes déclenchent souvent des augmentations significatives du trafic et des besoins en traitement de données. Afin d'assurer le fonctionnement stable des services pendant les principales activités de promotion, la plateforme Big Data disposera de certaines mesures de préparation clés, telles que des tests de résistance, des exercices d'urgence, des plans d'urgence, etc.
Lorsque j'ai rejoint l'entreprise pour la première fois et que j'ai fait l'expérience des préparatifs de Double Eleven, j'étais en charge d'un nouveau service Big Data, donc bon nombre de ses grands plans de préparation de promotions étaient des défis repartis de zéro. Par manque d'expérience, j'ai également fait l'expérience de mon premier travail supplémentaire de nuit chez JD.com.
Bien que les outils de tests de résistance existants puissent prendre en charge les tests de résistance au niveau de l'interface, des problèmes tels que la manière d'organiser le temps des tests de résistance, de déterminer la durée des tests de résistance et le volume de trafic, ainsi que la source des données des tests de résistance, existent toujours. En raison du manque d'expérience, le temps de préparation a été long et l'opération proprement dite n'a commencé que le jour de la clôture. Et quand j'étais sur le point de démarrer l'opération, je n'étais pas au courant du problème dans la période principale, mais j'ai arrêté l'action à temps après que mes camarades de classe R&D m'ont rappelé qu'il y avait des risques dans la période actuelle. L’environnement des tests de résistance ne peut généralement pas être complètement indépendant de l’environnement en ligne, sans compter que nous effectuons un test de résistance pour exploiter un nouveau service. Nous devons donc éviter d’effectuer des tests de résistance pendant les périodes principales.
Lors du tri de l'interface des tests de résistance, le but de la distinction entre l'interface de lecture et l'interface d'écriture est de mieux comprendre et contrôler les problèmes de cohérence des données qui peuvent survenir au cours du processus de test de résistance. Mais cela nous induira également en erreur dans une certaine mesure : étant donné que l'interface du test de résistance est identifiée comme une interface de lecture et que les données du test de résistance sont construites indépendamment, nous n'avons pas considéré que cette interface puisse contenir des opérations d'écriture liées à l'audit. Ce n’est qu’à la fin du stress test que nous avons reçu un appel d’alarme d’un service en aval nous informant que notre stress test avait impacté ses services que nous avons réalisé que l’interface de lecture générerait également des données sales.
Le plan d'urgence est une méthode de réponse d'urgence aux problèmes en ligne et son fonctionnement comporte certains risques. Je me souviens que lors de l'étape de révision du plan, parce qu'il s'agissait d'opérations à haut risque, nous avions initialement prévu de demander des ressources dans l'environnement de pré-lancement pour mener des opérations de forage. Cependant, ldr a soulevé une question clé : si vous n'effectuez pas d'opérations concrètes pendant la période de préparation, que devez-vous faire si vous rencontrez des problèmes lors de la grande promotion ? Il a souligné que ce n'est qu'en découvrant et en résolvant les problèmes le plus tôt possible que la stabilité des services en ligne peut être garantie.
Jusqu'à présent, j'ai participé à la préparation de trois promotions majeures et je sens clairement que les plans de préparation et les processus d'exécution des promotions majeures deviennent de plus en plus matures. Même dans ce contexte, nous devons toujours suivre strictement le plan de préparation, veiller à ce que les étapes opérationnelles clés soient coordonnées avec l'équipe de développement de produits et annoncer les informations pertinentes à l'avance pour garantir que les services en amont et en aval et les utilisateurs de la plateforme peuvent prédire les risques.
De plus, sur la base de la plateforme existante de l'entreprise, les préparatifs des promotions majeures se transforment progressivement en travail normal, et les tâches de préparation ont été progressivement institutionnalisées et automatisées, formant ainsi des solutions fiables. Cette série de mesures de garantie de service en ligne peut non seulement fournir un soutien solide aux promotions majeures, mais également effectuer des évaluations des risques pour chaque lancement de service afin de garantir que les problèmes peuvent être découverts à temps et résolus plus tôt.
3. Revue de capacités : quelques suggestions pour les novices
Pour les étudiants intéressés par les tests Big Data, les quatre points suivants sont des instructions de préparation dignes d'attention :
ps. Ces points sont très similaires aux exigences de recrutement, vous pouvez donc également accorder plus d'attention aux informations de recrutement des postes qui vous intéressent et développer vos capacités professionnelles en fonction des exigences du poste ~
4. L’avenir est à notre portée : la vague technologique déferle
Parmi les diverses applications émergentes qui émergent constamment, les outils de test des couches applicatives et les méthodes d'assurance qualité subissent un processus de maturité et de progrès. Avec les tests pratiques de nombreuses applications, les tests de référence requis pour une nouvelle application et une nouvelle application Web avant sa mise sur le marché, ainsi que les méthodes en ligne, de surveillance et d'auto-réparation d'urgence sont devenus de plus en plus standardisés et systématiques. Cependant, par rapport aux tests de la couche application, les tests de produits liés au Big Data reposent davantage sur les capacités professionnelles individuelles et nécessitent généralement un seuil professionnel plus élevé. Par conséquent, la couverture des tests Big Data est souvent inférieure à celle des tests de la couche application. Cela nous offre de nombreuses opportunités potentielles à explorer.
Chaque année, des stars de JD comme moi rejoignent JD.com et rejoignent le centre de données. Peut-être que vous pouvez avoir plus de connaissances sur le big data que moi, mais je pense que vous ne serez pas déçu ici. Que vous rencontriez des difficultés ou que vous souhaitiez montrer vos talents, il y a une équipe à vos côtés pour vous aider et il y a des seniors qui ont la clairvoyance pour vous guider. Nous vous attendons sur JD.com.