소개
2022년 학교 채용을 통해 JD.com에 입사한 후, 데이터센터 테스트 부서에서 테스트 개발 업무를 맡아왔습니다. 졸업 후 가장 많이 작성하는 문서는 테스트 계획서와 테스트 보고서이며, 코딩에 대한 성장을 검토하고 요약할 기회는 거의 없습니다. '업테크니션' 칼럼을 통해 드디어 퇴근 후 뒤를 돌아보며 지난 2년을 간략하게 정리해보았습니다.
이 글은 빅데이터 테스트 초보자가 입사 후의 성장 과정을 요약한 것입니다. 신입사원들이 입사하면서 겪었던 혼란과 축적된 경험에 대해서도 이야기합니다. 이 글이 빅데이터 테스트에 대해 헷갈려하는 신입생, 빅데이터 테스트에 관심이 있는 학생들에게 도움이 되기를 바랍니다.
1. 처음으로 직장에 들어서는 순간: 혼란스러운 갈림길에 서다
학부와 석사 학위는 모두 컴퓨터 과학과 기술 분야였습니다. 대학원 과정에서 제가 연구 방향은 네트워크 임베딩이었습니다. 짧은 인턴 경험도 있었지만 비즈니스 테스트에 대해서는 아는 바가 거의 없었다고 할 수 있습니다. 빅데이터에 대해서. 리더는 나에게 이렇게만 말했습니다. "처음에는 정상이 아닐 겁니다. 학교에서는 이런 것들을 접하지 못할 가능성이 높습니다. 조금씩 시작하게 될 것입니다. 상관없습니다. 천천히 시간을 가지십시오."
처음 일을 접했을 때는 "이해할 수 없다"는 말밖에 할 수 없었습니다.
빅데이터 분야에는 "cluster", "queue", "RSS", "NN", "DN", "NS" 등 고유명사와 영어 약어가 많이 있습니다. 정말 조금 당황해서 가장 "학생"적인 방법인 독서를 선택했습니다.
책을 읽는 것이 유용하다는 것은 부인할 수 없지만 효율성이 너무 낮습니다. 더욱이 실제 작업에서 빅데이터 저장 및 계산 엔진의 많은 변환은 자체 연구되고 특정 실무 배경을 가지고 있기 때문에 효과적으로 도움이 될 수 없습니다. 우리는 테스트 작업을 수행합니다.
전문 서적에 비해 팀 문서와 대담한 질문은 우리가 직장에 들어갈 수 있는 길입니다.
팀 문서에는 과거 요구사항 테스트 기록을 기록하여 제품 배경을 이해할 수 있을 뿐만 아니라, 검색 기능을 잘 활용하면 익숙하지 않은 용어와 개념을 빠르게 이해하고 커뮤니케이션 효율성을 높일 수 있습니다. 그중 생산, 연구, 테스트 팀에는 자칭 마이크로서비스와 장치가 몇 가지 있습니다. 만약 우리가 팀을 통해 검색하거나 직접 문의하지 않았다면, 우리는 그것을 이해하는 데 불필요한 에너지를 많이 소비했을 것입니다. 따라서 더 적극적으로 행동하고, 더 많이 질문하고, 더 많이 소통해야 그룹에 통합되고 더 빠르게 작업을 시작할 수 있습니다.
지금 돌이켜보면 아직도 '신인 시절'이 너무 그리워요. 매일 멘토에게 가지 않으면 멘토가 찾아와서 "오늘 질문이 있나요?"라고 물을 것입니다. 그들은 아무리 간단한 질문이라도 참을성 있게 대답해 줄 것입니다. 또한, 신입사원을 위한 월별 리포트와 부서 간 1v1 소통도 좋은 기회가 됩니다. '새로 태어난 송아지'로서 궁금한 점이나 건의 사항이 있으면 리더와 직접 소통할 수 있습니다. 비록 그 기간 동안 어려움과 어려움이 있었지만, 제가 점차 빅데이터 테스트 분야의 진로를 시작하게 된 것은 바로 그 기간 동안의 축적 때문이었습니다.
2. 발전의 길 : 몬스터 처치와 업그레이드는 차근차근 진행해야 합니다.
2.1 1단계: 빅데이터 컴퓨팅 작업 제출
기존 소프트웨어 테스팅과 비교하여 빅데이터 테스팅의 핵심은 빅데이터 시스템이 대용량 데이터를 효율적이고 안정적으로 처리할 수 있도록 데이터 분석 및 처리의 정확성과 신뢰성을 검증하는 것입니다. 빅 데이터 테스트에는 일정한 기준이 있는데, 이를 위해서는 기본 소프트웨어 테스트 기술뿐 아니라 빅 데이터 플랫폼 사용에 익숙해야 합니다. 따라서 첫 번째 단계는 빅 데이터 플랫폼에 컴퓨팅 작업을 제출하는 것일 수 있습니다 .
간단해 보이지만 실제로는 많은 준비 작업이 있습니다.
이 시점에서는 사용자 관점에서 작업이 성공적으로 제출되었지만 빅데이터 플랫폼과 테스터로서 해야 할 일이 여전히 많습니다.
2.2 2단계: 빅데이터 제품 지도 조명
빅데이터 업무를 제출하는 과정에서 빅데이터 플랫폼이 사용자에게 직접 데이터 권한 관리, 계정 관리, 프로세스 센터 등 다양한 서비스를 제공하는 것은 물론, 업무와 관련된 계산 엔진까지 제공하고 있음을 쉽게 알 수 있다. 작업 제출 후 계산, 스케줄링 엔진, 스토리지 등
초기 단계에서 요구 사항을 추적할 때 항상 끝없는 질문이 있을 것입니다.
"작업이 컴퓨팅 환경을 찾을 수 없습니까?"
"미터기를 읽을 수 있는 권한이 왜 없나요?"
"테이블의 메타데이터는 어디서 볼 수 있나요?"
......
주요 테스트 서비스는 하나이지만 관련된 서비스는 많이 있습니다. 처음에는 알아야 할 배경지식을 어디서 확인해야 할지, 어떻게 확인해야 할지 모를 수도 있습니다. 빅 데이터 스토리지 및 컴퓨팅 엔진에 대한 수요는 종종 연구 개발에서 비롯되며, 그 유형은 기술 혁신인 경우가 많습니다. 비록 변환은 긴 데이터 처리 링크의 특정 링크일 뿐이지만, 테스트 시나리오의 분류는 테스트 시나리오와 분리될 수 없습니다. 전체 링크에 대한 친숙도. 빅데이터 플랫폼의 기본 서비스와 기능적 특성이 명확하지 않으면 품질보증 업무가 완료될 수 없습니다.
일상적인 요구 사항이 축적되는 것 외에도 빅 데이터 플랫폼을 탐색하는 데 앞장서야 합니다. 빅데이터 테스트 및 개발 엔지니어로서 자체 빅데이터 제품 맵을 탐색하고 조명하는 것은 우리에게 필수 과정입니다. 빅데이터 플랫폼의 제품은 데이터 및 데이터 처리 업무와 분리될 수 없습니다. 이 문제는 이 두 가지 측면에서 생각해 보는 것이 좋습니다.
빅 데이터 플랫폼 서비스에 대한 친숙함은 빅 데이터 테스트의 기본 요구 사항이므로 생산 팀과 연구 팀이 위험 평가를 수행하는 데 더 효과적으로 도움을 줄 수 있습니다. 또한 빅 데이터 플랫폼 자체는 사용자에게 작업을 지원할 수 있는 대규모 데이터 관리 도구 시리즈를 제공합니다. 예를 들어, 메타데이터 쿼리는 테이블 관련 정보를 보기 위해 스크립트를 직접 작성하는 대신 플랫폼에서 직접 테이블의 구조, 액세스, 스토리지 및 기타 세부 정보를 쉽게 쿼리할 수 있습니다.
2.3 3단계: 대규모 프로모션 준비
대규모 판매로 인해 트래픽이 크게 증가하고 데이터 처리 요구 사항이 급증하는 경우가 많습니다. 주요 프로모션 활동 중 서비스의 안정적인 운영을 보장하기 위해 빅데이터 플랫폼은 스트레스 테스트, 비상 훈련, 비상 계획 등 몇 가지 주요 준비 조치를 갖출 예정입니다.
제가 처음 입사하여 더블일레븐 준비를 경험했을 때 새로운 빅데이터 서비스를 담당했기 때문에 그 회사의 빅 프로모션 준비 계획 중 많은 부분이 처음부터 시작하는 도전이었습니다. 경험이 부족해서 JD.com에서 처음으로 야근을 경험하기도 했습니다.
기존 스트레스 테스트 도구는 인터페이스 수준 스트레스 테스트를 지원할 수 있지만 스트레스 테스트 시간 조정, 스트레스 테스트 기간 및 트래픽 양 결정, 스트레스 테스트 데이터 소스 등의 문제는 여전히 존재합니다. 경험이 부족하여 준비 시간이 길어졌고, 마감일까지 실제 작업이 시작되지 않았습니다. 그리고 작업을 시작하려고 할 때 핵심 기간에는 문제가 있는지 몰랐지만 R&D 동급생이 현 기간에 위험이 있음을 상기시켜 준 후 제때에 작업을 중단했습니다. 스트레스 테스트 환경은 일반적으로 새로운 서비스를 운영하기 위해 스트레스 테스트를 진행하는 것은 말할 것도 없고 온라인 환경과 완전히 독립될 수 없기 때문에 핵심 기간에는 스트레스 테스트를 수행하지 않아야 합니다.
스트레스 테스트 인터페이스를 분류할 때 읽기 인터페이스와 쓰기 인터페이스를 구분하는 목적은 스트레스 테스트 과정에서 발생할 수 있는 데이터 일관성 문제를 더 잘 이해하고 제어하기 위한 것입니다. 그러나 이는 어느 정도 오해를 불러일으킬 수도 있습니다. 스트레스 테스트 인터페이스가 읽기 인터페이스로 식별되고 스트레스 테스트 데이터가 독립적으로 구성되므로 이 인터페이스에 감사 관련 쓰기 작업이 포함될 수 있다는 점을 고려하지 않았습니다. 스트레스 테스트가 끝날 때까지 다운스트림 서비스로부터 우리의 스트레스 테스트가 해당 서비스에 영향을 미쳤음을 알려주는 경보 호출을 받았고, 읽기 인터페이스도 더티 데이터를 생성할 수 있다는 것을 깨달았습니다.
비상 계획은 온라인 문제에 대한 비상 대응 방법으로, 그 운영에는 일정한 위험이 따릅니다. 계획 검토 단계에서는 고위험 작업이 포함되었기 때문에 당초 훈련 작업을 수행하기 위해 발사 전 환경에서 자원을 신청할 계획이었던 것으로 기억됩니다. 하지만 ldr은 '준비 기간 동안 실제 운영을 하지 않고 큰 프로모션을 하다가 문제가 생기면 어떻게 해야 할까'라는 핵심 질문을 던졌다. 그는 문제를 조기에 발견하고 해결해야만 온라인 서비스의 안정성을 확보할 수 있다고 강조했다.
지금까지 세 가지 주요 활동 준비에 참여해 보았는데, 주요 활동을 위한 준비 계획과 실행 과정이 점점 성숙해지고 있음을 확실히 느낄 수 있습니다. 이러한 맥락에서도 우리는 여전히 준비 계획을 엄격하게 따르고, 주요 운영 단계가 제품 개발 팀과 조화를 이루도록 하며, 관련 정보를 사전에 발표하여 업스트림 및 다운스트림 서비스와 플랫폼 사용자가 위험을 예측할 수 있도록 해야 합니다.
또한, 회사의 기존 플랫폼을 기반으로 주요 프로모션 준비가 점차 정상 업무로 전환되고 있으며, 준비 업무도 점차 제도화, 자동화되어 안정적인 솔루션을 형성하고 있습니다. 이러한 일련의 온라인 서비스 보장 조치는 주요 프로모션에 대한 견고한 지원을 제공할 뿐만 아니라 각 서비스 출시에 대한 위험 평가를 수행하여 문제를 적시에 발견하고 조기에 해결할 수 있도록 보장합니다.
3. 기능 검토: 초보자를 위한 몇 가지 제안
빅데이터 테스트에 관심이 있는 학생들이 주목해야 할 준비 방향은 다음 4가지입니다.
ps. 이러한 점은 채용요건과 매우 유사하기 때문에 관심 있는 직위의 채용정보도 좀 더 주의깊게 살펴보시고 직무요건에 맞춰 전문적인 능력을 키워가셔도 됩니다~
4. 미래는 우리 손안에 있습니다: 급증하는 기술 물결
끊임없이 등장하는 다양한 신흥 애플리케이션 중에서 애플리케이션 계층 테스트 도구와 품질 보증 방법은 성숙과 발전 과정을 겪고 있습니다. 많은 애플리케이션의 실제 테스트를 통해 새로운 APP 및 웹 애플리케이션에 대한 출시 전 벤치마크 테스트는 물론 온라인, 모니터링 및 응급 자가 치유 방법이 점점 표준화되고 체계화되었습니다. 그러나 애플리케이션 계층 테스트에 비해 빅데이터 관련 제품 테스트는 개인의 전문적 능력에 더 의존하며 일반적으로 더 높은 전문적 임계값이 필요합니다. 따라서 빅 데이터 테스트의 적용 범위는 애플리케이션 계층 테스트의 적용 범위보다 낮은 경우가 많습니다. 이는 우리에게 탐색할 수 있는 많은 잠재적인 기회를 제공합니다.
매년 저와 같은 JD 스타들이 JD.com에 합류하여 데이터 센터에 합류하게 됩니다. 아마도 여러분도 저처럼 처음부터 시작하더라도 실망하지 않을 것입니다. 어려움에 직면하거나 자신의 재능을 보여주고 싶을 때, 당신 곁에는 당신을 도와줄 팀이 있고, 당신을 지도해 줄 선견지명을 가진 선배들이 있습니다. JD.com에서 여러분을 기다리고 있습니다.