1 배경
약간의 문제가있는 경우, 그들은 문제의 흔적을 찾고, 어떤 장소에서 이유를 알아 갈 수있는, 또는, 우리의 일상 생활에서 우리는 종종 전에 일어난 몇 가지를 검토 할 필요가있다. 필연적으로 텍스트를 사용해야하는 등 기록 이미지의 다른 형태에. 컴퓨터의 용어로 표현, 그것은 LOG, 또는 로그입니다.
로그, 어떤 시스템 및 중요한 부분입니다. 컴퓨터 시스템 내부에서, 더욱 더. 현재 컴퓨터 시스템의 대부분은 더 복잡하기 때문에, 많은 시스템이 한 곳에서조차 모든 국경없는, 장소, 심지어 시스템 등의 운영 체제, 애플리케이션 서비스, 비즈니스 로직, 등의 다양한 소스가있다 . 그들은 지속적으로 로그 데이터의 다양한 생산하고 있습니다. 불완전한 통계에 따르면, 세계에 대해 우리는 하루에 데이터 2EB (1018)를 생성하고 싶습니다.
이와 같은 데이터의 방대한 양에 직면하여, 우리는 몇 가지 중요한 정보를 찾을 필요가 있다면, 여전히 단일 시스템에서보기에 로그인 할 때, 전통적인 방법을 사용하고, 여러 장소에 분산? 전통적인 도구와 방법이 서투른 비효율적이었다 보인다. 따라서, 중앙 집중식 방법의 제안 설립에 관한 일부 똑똑한 사람들, 하나 개의 중앙 위치에 서로 다른 소스에서 데이터.
전체 중앙 집중식 로깅 시스템은 다음과 같은 주요 기능이 분리 될 수 없다.
- 컬렉션 - 로그 데이터는 여러 소스에서 수집 할 수 있습니다
- 전송 - 안정적으로 중앙 시스템에 로그 데이터를 전송할 수
- 저장 - 로그 데이터를 저장하는 방법
- 분석 - 분석은 UI를 지원하는
- 경고 - 메커니즘을 모니터링, 오류보고를 제공 할 수 있습니다
2 ELK 소개
탄성 스택 소프트웨어 Elasticsearch, Logstash, 키바의 짧은 모음으로, 그들은 오픈 소스 소프트웨어입니다. 추가 된 FileBeat, 그것은 Logstash 후 수집 할 각 서버 로그에 전송에 적합한 경량 로그 수집 처리 도구 (에이전트), Filebeat 소형 풋 프린트,이다, 정부는이 도구를 권장하고있다.
- 자바를 기반으로 Elasticsearch, 그것은 분산 저장 및 인덱싱 엔진에 대한 루씬 기반의 전체 텍스트 인덱싱 지원, 주로 로그 인덱스에 대한 책임과 쉽게 검색 쿼리 비즈니스 측면 저장입니다. 그것의 기능은 다음과 같습니다 : 분산 제로 구성, 자동 검색, 같은 자동로드 검색으로 자동 슬라이스 인덱스, 인덱스 복제 메커니즘, 편안한 스타일의 인터페이스, 여러 데이터 소스.
- 자바 기반 Logstash 미들웨어 포워딩, 필터링 로그 수집하고, 추가 처리를 위해 전달 Elasticsearch에, 여과 후, 균일 컬렉션의 사업 기록 라인의 다양한 유형에 대한 책임이있다. C / s의 아키텍처의 일반 작업이 클라이언트가 수집 로그에 대한 호스트 측의 필요에 설치, 서버 측 최대 elasticsearch하는 동시에 각 수신 된 로그가 여과 노드, 수정 및 기타 작업을 담당합니다.
- 키바 기반 nodejs는 분석하고 중요한 데이터 로그를 검색, 요약 도움을 줄 수있는 시각화 도구뿐만 아니라, 오픈 소스와 자유, 키바는 Logstash와 ElasticSearch 친화적 인 웹 인터페이스를 제공 할 수 있습니다 로그 분석이다.
탄성 스택 기술은 전체 부서를 포함
비트를 사용하여 데이터 수집, 구타에서 Filebeat.
비트는 현재 네 개의 도구가 포함되어 있습니다 :
- Packetbeat은 : 네트워크 트래픽 데이터를 수집하고, 네트워크는 수집 된 교통 정보를 네트워크를 모니터링하기위한 패킷 분석기 패키지 스니핑 서버 간의 트래픽이 애플리케이션 층 정보를 분석하고 관련된 메시지 처리는 ICMP (V4를 지원하며 V6), DNS, HTTPS, MySQL은, PostgreSQL의 계약
- Topbeat : 수집 시스템, 프로세스 및 파일 시스템 수준의 CPU 및 메모리 사용 데이터
- Filebeat : 현장 모니터링 데이터 파일을 수집, 모바일 서버의 로그 파일은 이미 Logstash 전달자를 대체
- Winlogbeat는 : Windows 이벤트 로그 데이터를 수집
- Mertricbeat는 : 정기적으로 외부 시스템에서 정보를 얻을 수 있습니다 지표를 모니터링하면 전화 아파치, Haproxy, MongoDB를, MySQL은, Nginx에, 및 기타 서비스를 모니터링 할 수 있습니다