장소가 배울 수 : 개념, 사용, 모듈
탄성 소개 낫지
탄성 스택은 전통적으로 이미이 조합에서, 그것은 또한 "구타"라는 이름의 네 번째 요소와 결합 될 수있는 세 가지 주요 구성 요소 (Elasticsearch, Logstash과 키바) 구성, 구성 - 다른 사용 사례에 대한 전송 로그 그 시리즈. 온라인 지금은 ELKB이라고 말하고, 여기서 B는 비트를 의미합니다.
중합 처리 및 저장 : 중앙 관리 기록에서, 데이터 도관은 세 개의 주요 단계를 포함한다. 스택의 이엘 케이는, 전통적으로, 처음 두 단계는 스택 Logstash 의무를 워크로드입니다. 이러한 작업은 특정 가격을 지불 할 필요가 수행합니다. 때문에 Logstash 디자인과 관련된 고유 한 문제, 성능 문제는 복잡한 배관의 경우는 처리를 많이 필요로 특히에, 자주된다. 책임 Logstash의 일부를 아웃소싱의 개념은 특히 다른 도구로 데이터 추출 작업의 전송에 등장했다.
그것이 무엇인지 결국 친다
비트 로그 전송 프로그램 경량 (자원 효율적 아니 의존성 소) 및 오픈 소스 모음 로그 전송 프로그램이 로그 또는 지수를 수집하기위한, 다른 서버에 설치된 인프라 프록시 역할 (측정 항목) . 이 될 수있는 로그 파일 (Filebeat)는, 점점 더 많은 네트워크 데이터 비츠 (Packetbeat), 서버 메트릭 (Metricbeat) 또는 탄성 및 지역 사회 개발은 기타 유형의 데이터를 수집 할 수 있습니다. 수집 한 후, 데이터 처리 달리 Logstash Elasticsearch 직송 또는된다. 지역 사회 개발하고 새로운 비트를 기여하고있는 것을 의미 데이터 전송을위한 프레임 워크라는 libbeat의 상단에 내장 된 이동 프레임 워크를 친다.
Filebeat
이름이 수집하고 로그 파일을 전송하기 위해, Filebeat을 알 수 있듯이, 그것은 또한 가장 일반적인 비트입니다. 그것은 다시 압력을 처리 Filebeat 때문에 효율적인 한 가지 사실은 - Logstash 바쁜 경우에 따라서, Filebeat 감속 종료 후 템포까지 자신의 읽기 속도와 속도를 느리게합니다.
Filebeat가 장착 도커 용기, 또한 기본 구성 키바는 개체 및 이러한 플랫폼을 포함하는 모듈의 내부 특정 플랫폼 (예를 들면 아파치, MySQL은, 도커 등)과 함께 제공 비롯한 거의 모든 운영 체계를 설치할 수있다.
Packetbeat
Packetbeat 네트워크 패킷 분석기는 첫 박자를 소개한다. Packetbeat 캡처 네트워크 서버 간의 트래픽, 따라서 성능 모니터링 애플리케이션에 사용할 수 있습니다.
서버 모니터링에 Packetbeat가 설치 될 수있다, 그것은 자신의 전용 서버에 장착 할 수있다. Packetbeat 트랙 네트워크 트래픽, 프로토콜 디코드 및 각 트랜잭션에 대한 데이터를 기록한다. Packetbeat 지원되는 프로토콜은 다음과 같습니다 : DNS, HTTP, ICMP, 레디 스 , MySQL은, MongoDB를, 카산드라 등등하고있다.
Metricbeat
Metricbeat는 수집하고 시스템 및 플랫폼의 시스템 레벨 메트릭 다양한 다양한보고, 매우 인기있는 비트이다. Metricbeat 또한 특정 플랫폼에서 내부 모듈를 수집 통계를 지원합니다. 당신은 어떤 특정 지표를 수집 할 수있는 주파수 Metricbeat 수집 메트릭과를 구성하는 인덱스 세트라는 이러한 모듈 및 metricsets를 사용할 수 있습니다.
심장의 고동
의 "가동 시간 모니터링"에 대한 하트 비트. 기본적으로 하트 비트 감지 기능은 예를 들어,이 가동 시간 서비스가 SLA 충족 확인하는 데 사용할 수 있습니다, 액세스 할 수 있는지 여부를 확인하는 서비스입니다. 당신은 인덱싱하기 전에 스택에 보낼 하트 비트 목록이 Elasticsearch 또는 Logstash에 요청하실 수 있습니다에 대한 URL 및 가동 시간 통계를 제공 할 필요가있다.
Auditbeat
Auditbeat 사용자와 프로세스는 리눅스 서버의 감사 활동에 사용할 수 있습니다. 파일 변경, 구성 변경 및 기타 악의적 인 행동 - 기존의 다른 시스템 감사 도구 (systemd, 인 auditd)와 마찬가지로, Auditbeat는 보안 취약점을 식별하는 데 사용.
Winlogbeat
이 이길 수 있도록 설계 Windows 이벤트 로그를 수집하도록 설계되어 있기 때문에 Winlogbeat Windows 전용, 시스템 관리자 나 엔지니어가 관심을 가질. 보안 이벤트, 설치된 업데이트를 분석하는 데 사용할 수 있습니다.
기능 비트
Functionbeat가 "서버없는"보낸 사람으로 정의된다, 이는 데이터 수집 및 배포 기능 스택 ELK에게 전송 될 수있다. 클라우드 환경을 모니터링하기위한 설계 Functionbeat는 맞춤형 아마존 위해가 아마존 CloudWatch에서, 운동성 및 SQS로부터 수집 한 데이터에 아마존 람다 함수로서 전개 될 수있는 설정되었다.
박자를 사용하는 방법
이제 우리는 어떻게 metricbeat 비트를 사용하는 방법을 보여줍니다. 다른 사람은 할 수있는이 방법을 따를 수 있습니다.
설치 metricbeat
curl -L -O https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-7.3.2-linux-x86_64.tar.gz
tar xzvf metricbeat-7.3.2-linux-x86_64.tar.gzMetricbeat 프로필
우리가 Metricbeat를 설치 한 후에, 우리는 다음과 같은 설치 디렉토리의 루트 디렉토리에있는 모든 파일을 볼 수 있습니다 :
$ ls -F
LICENSE.txt metricbeat*
NOTICE.txt metricbeat.reference.yml
README.md metricbeat.yml
data/ metricbeat.yml.org
fields.yml module/
kibana/ modules.d/
logs/이 카탈로그에서 우리는 두 개의 파일 구성 파일을 볼 수 있습니다 :
metricbeat.yml：这是一个默认的配置文件
metricbeat.reference.yml：这是一个完整的样本配置文件만 먼저 구성 파일을 사용하여.
Metricbeat를 구성 할 때, 당신은 실행 모듈을 지정해야합니다. 수집 메트릭 Metricbeat 사용하는 모듈. 각 로직 모듈은 특정 서비스 (예를 들어, 레디 스 또는 MySQL의)에서 수집 한 기본 데이터를 정의한다. 및 모듈 데이터 metricsets 조성물을 취득하도록 구성된. 예 레디 스 모듈의 경우,이 모듈의 정보 Metricset 및 KEYSPACE Metricset를 사용합니다. 그들은 채널과 연결된 호스트를 공유 할 수 있습니다.
- 실행 모듈을 사용
기본 구성이 다른 모듈을 사용하지 않고 받아 들일 경우, Metricbeat는 시스템 지표를 수집합니다.
# 路径：metricbeat-7.3.2-darwin-x86_64/modules.d
# ls -a
. kibana-xpack.yml.disabled
.. kibana.yml.disabled
aerospike.yml.disabled kubernetes.yml.disabled
apache.yml.disabled kvm.yml.disabled
aws.yml.disabled logstash-xpack.yml.disabled
beat-xpack.yml.disabled logstash.yml.disabled
beat.yml.disabled memcached.yml.disabled
ceph.yml.disabled mongodb.yml.disabled
cockroachdb.yml.disabled mssql.yml.disabled
consul.yml.disabled munin.yml.disabled
coredns.yml.disabled mysql.yml.disabled
couchbase.yml.disabled nats.yml.disabled
couchdb.yml.disabled nginx.yml.disabled
docker.yml.disabled oracle.yml.disabled
dropwizard.yml.disabled php_fpm.yml.disabled
elasticsearch-xpack.yml.disabled postgresql.yml.disabled
elasticsearch.yml.disabled prometheus.yml.disabled
envoyproxy.yml.disabled rabbitmq.yml.disabled
etcd.yml.disabled redis.yml.disabled
golang.yml.disabled system.yml
graphite.yml.disabled traefik.yml.disabled
haproxy.yml.disabled uwsgi.yml.disabled
http.yml.disabled vsphere.yml.disabled
jolokia.yml.disabled windows.yml.disabled
kafka.yml.disabled zookeeper.yml.disabledMetricbeat의 modules.d이 하위 폴더라고합니다. 그것은 기본의 경우, 그것은 단지 system.yml 상태를 활성화, metricbeat 지원할 수있는 기본 디스플레이의 모든 모든 모듈이 포함되어 있습니다. 다른 하나는 비활성화 상태입니다.
우리는 현재의 모든 모듈이 설치 디렉토리에 metricbeat에서 다음 명령이 지원됩니다 얻을 수 있습니다 :
./metricbeat modules list
우리가 모듈을 열려면, 우리는이 작업을 수행 할 수 있습니다 :
./metricbeat modules enable apache mysql
그래서 우리는 아파치와 MySQL 모듈을 열었다. 우리가 모듈을 해지하려면 다음 명령을 사용할 수 있습니다 :
./metricbeat modules disable apache mysql
- 구성 출력
Metricbeat 출력의 다양한 지원하지만, 일반적으로는 이벤트 Logstash Elasticsearch하거나 처리로 직접 전송됩니다.
output.elasticsearch
hosts: ["127.0.0.1:9200"]- 당신은 함께 제공되는 샘플 키바 대시 보드 Metricbeat 구성 키바 엔드 포인트를 사용하려는 경우. 키바 Elasticsearch가 동일한 호스트에서 실행중인 경우이 단계를 건너 뛸 수 있습니다.
setup.kibana:
host: "127.0.0.1:5601"- Elasticsearch와 키바 보호하면, 설정 한 명령을 실행하기 전에 인증서 metricbeat.yml 구성 파일을 설정하고 Metricbeat을 시작하십시오.
output.elasticsearch:
hosts: ["myEShost:9200"]
username: "filebeat_internal"
password: "YOUR_PASSWORD"
setup.kibana:
host: "mykibanahost:5601"
username: "my_kibana_user"
password: "YOUR_PASSWORD"- 테스트 명령을 실행합니다 :
./metricbeat test config -e
현재는 시스템 모듈을 설정합니다.
- 설정 키바 모듈
우리는 구성 키바 대시 보드에 다음 명령을 실행합니다 :
./metricbeat setup
결과보기 :
$ ./metricbeat setup
Index setup finished.
Loading dashboards (Kibana must be running and reachable)
Loaded dashboards이 작업은 키바에서 우리를 위해 해당 인덱스 패턴, 생산과 우리의 사용에 해당하는 샘플 템플릿 대시 보드를 생성합니다.
실행 Metricbeat
우리는 우리의 Metricbeat 구성한 이전 단계에서, 우리는 지금 Metricbeat을 실행을 시작할 수 있습니다.
./metricbeat -e
당신은 키바 데이터에 좀 걸릴 수 있습니다. Metricbeat 인덱스의 시작으로 선택, 우리는 metricbeat 지속적으로 데이터를 수집 나타내는 데이터가 성장을 계속 볼 수 있습니다.
디스 커버 아이콘을 클릭 한 다음 인덱스 패턴 metricbeat을 선택, 당신은 수집 된 데이터를 볼 수 있습니다.
대시 보드 아이콘을 클릭 한 다음 시스템 Metricbeat 대시 보드 디스플레이를 검색
위의 시스템 개요 도시된다, 우리는 또한 "호스트 개요"를 클릭 할 수 있습니다 :
이 간단한 구성으로, 우리는 전체 시스템에 대한 우리의 이해를 사용할 수 있습니다.