introducción
Después de unirme a JD.com en 2022 a través de la contratación escolar, participé en el desarrollo de pruebas en el departamento de pruebas del centro de datos. Después de graduarme, los documentos más escritos son planes e informes de pruebas, y rara vez tengo la oportunidad de revisar y resumir mi crecimiento en codificación. A través de la columna "Up Technician", finalmente miré hacia atrás después del trabajo e hice un breve resumen de mis últimos dos años.
Este artículo es un resumen del crecimiento de un novato en pruebas de big data después de que ingresó por primera vez al lugar de trabajo. Incluye la confusión de los novatos que ingresan al trabajo y también habla sobre cierta experiencia acumulada. Espero que este artículo pueda ser útil para los recién llegados que están confundidos y para los estudiantes interesados en las pruebas de big data.
1. Entrar por primera vez al lugar de trabajo: encontrarse en una encrucijada confusa
Mi licenciatura y maestría fueron en ciencias de la computación y tecnología. Durante mis estudios de posgrado, mi dirección de investigación fue la integración de redes. Aunque tuve una breve experiencia de pasantía, también estaba predispuesto a las pruebas comerciales. sobre grandes datos. El líder sólo me dijo: "No será normal al principio. Lo más probable es que no estés expuesto a esto en la escuela. Empezarás poco a poco. No importa. Tómate tu tiempo".
Cuando entré por primera vez en contacto con el trabajo, sólo puedo decir que "no puedo entenderlo".
Hay muchos nombres propios y abreviaturas en inglés en el campo de big data, como "cluster", "queue", "RSS", "NN", "DN", "NS", etc. Frente a estos conceptos desconocidos, me encontré Realmente me entró un poco de pánico, así que elegí el método más "estudiante": la lectura.
Es innegable que leer libros es útil, pero la eficiencia es demasiado baja. Además, en el trabajo real, muchas de las transformaciones de los motores de cálculo y almacenamiento de big data son autoinvestigadas y tienen ciertos antecedentes prácticos. Depender de libros profesionales no puede ayudar de manera efectiva. Realizamos trabajos de prueba.
En comparación con los libros profesionales, los documentos de equipo y las preguntas audaces son la salida para entrar en el mundo laboral.
Los documentos del equipo no solo registran registros de pruebas de requisitos históricos para ayudarnos a comprender los antecedentes del producto, sino que también, al hacer un buen uso de la función de búsqueda, podemos comprender rápidamente términos y conceptos desconocidos y mejorar la eficiencia de la comunicación. Entre ellos, el equipo de producción, investigación y pruebas tiene algunos microservicios y dispositivos con su propio nombre. Si no hubiéramos buscado en el equipo o no hubiéramos preguntado directamente, es posible que hubiéramos gastado mucha energía innecesaria para comprenderlos. Por eso, debes ser más proactivo, hacer más preguntas y comunicarte más, para que puedas integrarte en el grupo y empezar a trabajar más rápido.
Mirando hacia atrás, todavía extraño mucho el "período de recién llegado". Todos los días, si no buscas a tu mentor, tu mentor vendrá a ti y te preguntará: "¿Tienes alguna pregunta hoy?". Ellos responderán pacientemente a tus preguntas sin importar cuán simples sean. Además, los informes mensuales para los recién llegados y la comunicación 1v1 entre departamentos son buenas oportunidades. Como "ternero recién nacido", si tienes dudas y sugerencias, puedes comunicarte directamente con el líder. Aunque hubo dificultades y desafíos durante ese período, fue precisamente debido a la acumulación durante ese período que gradualmente me embarqué en una carrera profesional en el campo de las pruebas de big data.
2. El camino hacia el avance: matar monstruos y mejorar debe hacerse paso a paso.
2.1 Paso 1: enviar la tarea informática de big data
En comparación con las pruebas de software tradicionales, el núcleo de las pruebas de big data es verificar la precisión y confiabilidad del análisis y procesamiento de datos para garantizar que el sistema de big data pueda procesar datos masivos de manera eficiente y estable. Existe un cierto umbral para las pruebas de big data, que requiere que no solo tengamos habilidades básicas de prueba de software, sino también que estemos familiarizados con el uso de plataformas de big data. Por lo tanto, el primer paso podría ser enviar una tarea informática a la plataforma de big data .
Suena simple, pero en realidad hay mucho trabajo de preparación:
En este punto, una tarea se ha enviado con éxito desde la perspectiva del usuario, pero todavía queda mucho trabajo por hacer en la plataforma de big data y como evaluador.
2.2 Paso 2: iluminar el mapa de productos de big data
Desde el proceso de envío de una tarea de big data, es fácil ver que la plataforma de big data proporciona muchos servicios, que incluyen no solo administración de permisos de datos, administración de cuentas, centro de procesos, etc., directamente para los usuarios, sino también motores de cálculo relacionados con la tarea. Cálculo después del envío de tareas. Motor de programación, almacenamiento, etc.
Al realizar un seguimiento de los requisitos en la etapa inicial, siempre habrá un sinfín de preguntas.
"¿La tarea no puede encontrar el entorno informático?"
"¿Por qué no tienes permiso para leer el medidor?"
"¿Dónde puedo ver los metadatos de la tabla?"
......
Solo hay un servicio de prueba principal, pero hay muchos servicios relacionados involucrados. Es posible que al principio no sepa dónde verificar o cómo verificar los conocimientos previos que necesita. La demanda de motores informáticos y de almacenamiento de big data a menudo proviene de la investigación y el desarrollo, y el tipo suele ser una transformación tecnológica. Aunque la transformación es solo un eslabón en el largo eslabón del procesamiento de datos, la clasificación de los escenarios de prueba es inseparable de la. familiaridad de todo el enlace. Si los servicios básicos y las características funcionales de la plataforma de big data no están claros, no se puede completar el trabajo de control de calidad.
Además de la acumulación de necesidades diarias, también debemos tomar la iniciativa de explorar plataformas de big data. Como ingeniero de desarrollo y pruebas de big data, explorar e iluminar nuestro propio mapa de productos de big data es un curso obligatorio para nosotros. Los productos de la plataforma de big data son inseparables de los datos y las tareas de procesamiento de datos. Es mejor pensar en este tema desde estos dos puntos.
La familiaridad con los servicios de la plataforma de big data es un requisito básico para las pruebas de big data, de modo que podamos ayudar mejor al equipo de producción e investigación a realizar evaluaciones de riesgos. Además, la propia plataforma big data proporciona a los usuarios una gran serie de herramientas de gestión de datos que también pueden ayudar en nuestro trabajo. Por ejemplo, consulta de metadatos, en lugar de escribir su propio script para ver información relacionada con la tabla, puede consultar fácilmente la estructura, el acceso, el almacenamiento y otra información detallada de la tabla directamente en la plataforma.
2.3 Paso tres: Prepárate para la gran promoción
Las grandes ventas a menudo provocan aumentos significativos en el tráfico y aumentos en los requisitos de procesamiento de datos. Para garantizar el funcionamiento estable de los servicios durante las principales actividades de promoción, la plataforma de big data contará con algunas medidas de preparación clave, como pruebas de estrés, simulacros de emergencia, planes de emergencia, etc.
Cuando me uní a la empresa por primera vez y experimenté los preparativos de Double Eleven, estaba a cargo de un nuevo servicio de big data, por lo que muchos de sus grandes planes de preparación para promociones fueron desafíos que comenzaron desde cero. Debido a la falta de experiencia, también experimenté mi primer trabajo de horas extras durante la noche en JD.com.
Aunque las herramientas de pruebas de estrés existentes pueden respaldar las pruebas de estrés a nivel de interfaz, aún existen problemas como cómo organizar el tiempo de las pruebas de estrés, determinar la duración de las pruebas de estrés y el volumen de tráfico, y la fuente de los datos de las pruebas de estrés. Debido a la falta de experiencia, el tiempo de preparación fue largo y la operación real no comenzó hasta el día del cierre. Y cuando estaba a punto de comenzar la operación, no sabía sobre el problema en el período central, pero detuve la acción a tiempo después de que mis compañeros de I + D me recordaron que había riesgos en el período actual. El entorno de la prueba de estrés generalmente no puede ser completamente independiente del entorno en línea, sin mencionar que estamos realizando una prueba de estrés para operar un nuevo servicio, por lo que debemos evitar realizar pruebas de estrés durante los períodos centrales.
Al clasificar la interfaz de la prueba de estrés, el propósito de distinguir la interfaz de lectura y la interfaz de escritura es comprender y controlar mejor los problemas de coherencia de los datos que pueden surgir durante el proceso de la prueba de estrés. Pero esto también nos engañará hasta cierto punto: dado que la interfaz de la prueba de esfuerzo se identifica como una interfaz de lectura y los datos de la prueba de esfuerzo se construyen de forma independiente, no consideramos que esta interfaz pueda contener operaciones de escritura relacionadas con la auditoría. No fue hasta el final de la prueba de esfuerzo que recibimos una llamada de alarma de un servicio posterior informándonos que nuestra prueba de esfuerzo había impactado sus servicios que nos dimos cuenta de que la interfaz de lectura también generaría datos sucios.
El plan de emergencia es un método de respuesta de emergencia a problemas en línea, y su funcionamiento implica ciertos riesgos. Recuerdo que durante la etapa de revisión del plan, debido a que involucraba operaciones de alto riesgo, originalmente planeamos solicitar recursos en el entorno previo al lanzamiento para realizar operaciones de perforación. Sin embargo, ldr planteó una pregunta clave: si no realiza operaciones reales durante el período de preparación, ¿qué debe hacer si encuentra problemas durante la gran promoción? Destacó que sólo descubriendo y resolviendo los problemas lo antes posible se puede garantizar la estabilidad de los servicios en línea.
Hasta ahora, he participado en los preparativos de tres promociones importantes y puedo sentir claramente que los planes de preparación y los procesos de ejecución de las promociones importantes son cada vez más maduros. Incluso en este contexto, todavía debemos seguir estrictamente el plan de preparación, asegurarnos de que los pasos operativos clave se coordinen con el equipo de desarrollo de productos y anunciar información relevante con anticipación para garantizar que los usuarios de la plataforma y los servicios ascendentes y descendentes puedan predecir los riesgos.
Además, sobre la base de la plataforma existente de la empresa, los preparativos para ascensos importantes se están transformando gradualmente en trabajo normal, y las tareas de preparación se han institucionalizado y automatizado gradualmente, formando soluciones confiables. Esta serie de medidas de garantía de servicio en línea no solo puede brindar un soporte sólido para promociones importantes, sino también realizar evaluaciones de riesgos para cada lanzamiento de servicio para garantizar que los problemas puedan descubrirse a tiempo y resolverse antes.
3. Revisión de capacidades: algunas sugerencias para principiantes
Para los estudiantes interesados en las pruebas de big data, los siguientes cuatro puntos son direcciones de preparación que merecen atención:
PD: Estos puntos son muy similares a los requisitos de contratación, por lo que también puede prestar más atención a la información de contratación de los puestos que le interesan y desarrollar sus habilidades profesionales en función de los requisitos del puesto ~.
4. El futuro está a nuestro alcance: la creciente ola tecnológica
Entre las diversas aplicaciones emergentes que surgen constantemente, las herramientas de prueba de la capa de aplicaciones y los métodos de control de calidad están pasando por un proceso de madurez y progreso. Con las pruebas prácticas de muchas aplicaciones, las pruebas comparativas requeridas para una nueva aplicación y aplicación web antes de salir al mercado, así como los métodos en línea, de monitoreo y de autocuración de emergencia se han vuelto cada vez más estandarizados y sistemáticos. Sin embargo, en comparación con las pruebas de la capa de aplicación, las pruebas de productos relacionados con big data dependen más de las habilidades profesionales individuales y generalmente requieren un umbral profesional más alto. Por lo tanto, la cobertura de las pruebas de big data suele ser menor que la de las pruebas de la capa de aplicación. Esto nos brinda muchas oportunidades potenciales para explorar.
Cada año, las estrellas de JD como yo se unen a JD.com y se unen al centro de datos. Quizás puedas tener más conocimientos sobre big data que yo. Quizás comiences desde cero como yo, pero creo que no te decepcionarás. Ya sea que encuentre dificultades o quiera mostrar sus talentos, hay un equipo a su lado para ayudarlo y hay personas mayores que tienen la previsión para guiarlo. Te esperamos en JD.com.