introdução
Depois de ingressar na JD.com em 2022 por meio de recrutamento escolar, estive envolvido no desenvolvimento de testes no departamento de testes do data center. Após a formatura, os documentos mais escritos são planos de teste e relatórios de teste, e raramente tenho a oportunidade de revisar e resumir meu crescimento em codificação. Através da coluna “Up Technician”, finalmente olhei para trás depois do trabalho e fiz um breve resumo dos meus últimos dois anos.
Este artigo é um resumo do crescimento de um novato em testes de big data depois que ele entrou no local de trabalho. Inclui a confusão dos novatos que entram no emprego e também fala sobre alguma experiência acumulada. Espero que este artigo possa ser útil para iniciantes que estão confusos e estudantes interessados em testes de big data.
1. Entrando no local de trabalho pela primeira vez: diante de uma encruzilhada confusa
Meus cursos de graduação e mestrado foram em ciência da computação e tecnologia. Durante meus estudos de pós-graduação, minha direção de pesquisa foi a incorporação de redes. Embora eu tivesse uma breve experiência de estágio, também estava inclinado a fazer testes de negócios. sobre big data. O líder apenas me disse: "Não será normal no começo. Você provavelmente não será exposto a isso na escola. Você começará aos poucos. Não importa. Não tenha pressa."
Quando tive contato pela primeira vez com o trabalho, só posso dizer que “não consigo entender”.
Existem muitos nomes próprios e abreviações em inglês no campo de big data, como "cluster", "queue", "RSS", "NN", "DN", "NS", etc. realmente entrei em pânico, então escolhi o método mais "estudante" - a leitura.
É inegável que a leitura de livros é útil, mas a eficiência é muito baixa. Além disso, no trabalho real, muitas das transformações dos mecanismos de armazenamento e cálculo de big data são autopesquisadas e têm certas experiências práticas. Depender de livros profissionais não pode ajudar efetivamente. nós realizamos trabalhos de teste.
Comparados aos livros profissionais, os documentos da equipe e as perguntas ousadas são a saída para entrarmos no local de trabalho.
Os documentos da equipe não apenas registram registros históricos de testes de requisitos para nos ajudar a entender o histórico do produto, mas também, ao fazer bom uso da função de pesquisa, podemos entender rapidamente termos e conceitos desconhecidos e melhorar a eficiência da comunicação. Entre eles, a equipe de produção, pesquisa e testes possui alguns microsserviços e gadgets autodenominados. Se não tivéssemos pesquisado na equipe ou perguntado diretamente, poderíamos ter gasto muita energia desnecessária para entendê-los. Portanto, você deve ser mais proativo, tirar mais dúvidas e se comunicar mais, para poder se integrar ao grupo e começar a trabalhar mais rápido.
Olhando para trás agora, ainda sinto muita falta do “período do recém-chegado”. Todos os dias, se você não procurar seu mentor, ele virá até você e perguntará: "Você tem alguma dúvida hoje. Ele responderá pacientemente às suas perguntas, por mais simples que sejam?" Além disso, relatórios mensais para recém-chegados e comunicação 1v1 entre departamentos são boas oportunidades Como “bezerro recém-nascido”, caso tenha dúvidas e sugestões, você pode se comunicar diretamente com o líder. Embora tenha havido dificuldades e desafios durante esse período, foi precisamente por causa do acúmulo nesse período que gradualmente embarquei em uma carreira na área de testes de big data.
2. O caminho para o avanço: matar monstros e atualizar deve ser feito passo a passo
2.1 Etapa 1: Enviar tarefa de computação de big data
Em comparação com os testes de software tradicionais, o núcleo dos testes de big data é verificar a precisão e a confiabilidade da análise e processamento de dados para garantir que o sistema de big data possa processar dados massivos de forma eficiente e estável. Existe um certo limite para testes de big data, que exige que não apenas tenhamos habilidades básicas de teste de software, mas também estejamos familiarizados com o uso de plataformas de big data. Portanto, o primeiro passo pode ser enviar uma tarefa de computação na plataforma de big data .
Parece simples, mas na verdade há muito trabalho de preparação:
Neste ponto, uma tarefa foi enviada com sucesso da perspectiva do usuário, mas ainda há muito trabalho a ser feito na plataforma de big data e como testador.
2.2 Etapa 2: Ilumine o mapa do produto de big data
A partir do processo de envio de uma tarefa de big data, é fácil ver que a plataforma de big data fornece muitos serviços, incluindo não apenas gerenciamento de permissão de dados, gerenciamento de contas, centro de processos, etc. diretamente para os usuários, mas também mecanismos de cálculo relacionados à tarefa cálculo após o envio da tarefa, mecanismo de agendamento, armazenamento, etc.
Ao acompanhar os requisitos na fase inicial, sempre haverá inúmeras perguntas.
“A tarefa não consegue encontrar o ambiente de computação?”
"Por que você não tem permissão para ler o medidor?"
"Onde posso ver os metadados da tabela?"
......
Existe apenas um serviço de teste principal, mas há muitos serviços relacionados envolvidos. Você pode não saber onde verificar ou como verificar o conhecimento prévio que precisa saber a princípio. A demanda por armazenamento de big data e mecanismos de computação geralmente vem de pesquisa e desenvolvimento, e o tipo é muitas vezes transformação tecnológica. Embora a transformação seja apenas um determinado elo no longo elo de processamento de dados, a classificação dos cenários de teste é inseparável do. familiaridade de todo o link. Se os serviços básicos e as características funcionais da plataforma de big data não forem claros, o trabalho de garantia de qualidade não poderá ser concluído.
Além do acúmulo de necessidades diárias, também precisamos tomar a iniciativa de explorar plataformas de big data. Como engenheiro de teste e desenvolvimento de big data, explorar e iluminar nosso próprio mapa de produtos de big data é um curso obrigatório para nós. Os produtos da plataforma de big data são inseparáveis dos dados e das tarefas de processamento de dados. É melhor pensar nesta questão a partir destes dois pontos.
A familiaridade com os serviços da plataforma de big data é um requisito básico para testes de big data, para que possamos ajudar melhor a equipe de produção e pesquisa a realizar avaliações de risco. Além disso, a própria plataforma de big data oferece aos usuários uma grande série de ferramentas de gerenciamento de dados que também podem auxiliar nosso trabalho. Por exemplo, consulta de metadados, em vez de escrever seu próprio script para visualizar informações relacionadas à tabela, você pode consultar facilmente a estrutura da tabela, acesso, armazenamento e outras informações detalhadas diretamente na plataforma.
2.3 Etapa três: prepare-se para a grande promoção
Grandes vendas geralmente provocam aumentos significativos no tráfego e aumentos nos requisitos de processamento de dados. A fim de garantir o funcionamento estável dos serviços durante as principais actividades de promoção, a plataforma de big data terá algumas medidas de preparação importantes, tais como testes de esforço, exercícios de emergência, planos de emergência, etc.
Quando entrei na empresa e experimentei os preparativos da Double Eleven, eu era responsável por um novo serviço de big data, portanto, muitos de seus grandes planos de preparação para promoções eram desafios começando do zero. Devido à falta de experiência, também experimentei minhas primeiras horas extras noturnas no JD.com.
Embora as ferramentas de teste de estresse existentes possam oferecer suporte a testes de estresse no nível da interface, ainda existem problemas como organizar o tempo do teste de estresse, determinar a duração do teste de estresse e o volume de tráfego e a fonte dos dados do teste de estresse. Devido à falta de experiência, o tempo de preparação foi longo e a operação propriamente dita só começou no dia do encerramento. E quando eu estava prestes a iniciar a operação, não sabia do problema no período central, mas parei a ação a tempo depois que meus colegas de P&D me lembraram que havia riscos no período atual. O ambiente de teste de estresse geralmente não pode ser completamente independente do ambiente online, sem mencionar que estamos conduzindo um teste de estresse para operar um novo serviço, por isso devemos evitar a realização de testes de estresse durante os períodos principais.
Ao classificar a interface do teste de estresse, o objetivo de distinguir a interface de leitura e a interface de gravação é compreender e controlar melhor os problemas de consistência de dados que podem surgir durante o processo de teste de estresse. Mas isso também nos enganará até certo ponto: como a interface do teste de estresse é identificada como uma interface de leitura e os dados do teste de estresse são construídos de forma independente, não consideramos que essa interface possa conter operações de gravação relacionadas à auditoria. Somente no final do teste de estresse recebemos uma chamada de alarme de um serviço downstream informando que nosso teste de estresse havia impactado seus serviços e percebemos que a interface de leitura também geraria dados sujos.
O plano de emergência é um método de resposta emergencial para problemas online e seu funcionamento envolve certos riscos. Lembro-me que durante a fase de revisão do plano, por se tratar de operações de alto risco, planejávamos originalmente solicitar recursos no ambiente de pré-lançamento para realizar operações de perfuração. No entanto, o LDR levantou uma questão fundamental: se você não realizar operações reais durante o período de preparação, o que deverá fazer se encontrar problemas durante a grande promoção? Ele enfatizou que somente descobrindo e resolvendo problemas o mais cedo possível será possível garantir a estabilidade dos serviços online.
Até agora, participei nos preparativos para três grandes promoções e posso sentir claramente que os planos de preparação e processos de execução para as grandes promoções estão a tornar-se cada vez mais maduros. Mesmo neste contexto, ainda precisamos de seguir rigorosamente o plano de preparação, garantir que as principais etapas operacionais são coordenadas com a equipa de desenvolvimento de produtos e anunciar antecipadamente informações relevantes para garantir que os serviços a montante e a jusante e os utilizadores da plataforma possam prever os riscos.
Além disso, com base na plataforma existente da empresa, os preparativos para grandes promoções estão gradualmente a transformar-se em trabalho normal, e as tarefas de preparação têm sido gradualmente institucionalizadas e automatizadas, formando soluções fiáveis. Esta série de medidas de garantia de serviço online pode não só fornecer um suporte sólido para grandes promoções, mas também realizar avaliações de risco para cada lançamento de serviço para garantir que os problemas possam ser descobertos a tempo e resolvidos mais cedo.
3. Revisão de capacidades: algumas sugestões para iniciantes
Para estudantes interessados em testes de big data, os quatro pontos a seguir são instruções de preparação que merecem atenção:
ps. Esses pontos são muito semelhantes aos requisitos de recrutamento, então você também pode prestar mais atenção às informações de recrutamento dos cargos de seu interesse e desenvolver suas habilidades profissionais com base nos requisitos do cargo ~
4. O futuro está ao nosso alcance: a crescente onda tecnológica
Entre as várias aplicações emergentes que surgem constantemente, as ferramentas de teste da camada de aplicação e os métodos de garantia de qualidade estão passando por um processo de maturidade e progresso. Com os testes práticos de muitas aplicações, os testes de benchmark exigidos para um novo APP e aplicativo Web antes de serem lançados no mercado, bem como métodos online, de monitoramento e de autocura de emergência tornaram-se cada vez mais padronizados e sistemáticos. No entanto, em comparação com os testes da camada de aplicação, os testes de produtos relacionados com big data dependem mais das capacidades profissionais individuais e geralmente requerem um limiar profissional mais elevado. Portanto, a cobertura dos testes de big data é frequentemente menor do que a dos testes da camada de aplicação. Isso nos fornece muitas oportunidades potenciais para explorar.
Todos os anos, estrelas de JD como eu ingressam no JD.com e ingressam no data center. Talvez você possa ter mais conhecimento sobre big data do que eu. Talvez você comece do zero como eu, mas acredito que não ficará desapontado aqui. Quer tenha dificuldades ou queira mostrar os seus talentos, há uma equipa ao seu lado para o ajudar e há seniores que têm a visão para o orientar. Estamos esperando por você em JD.com.