간략한 개요
이엘 케이는 주로 filebeat을 통해 달성하기 위해 로그를 수집에이 문서를 최근의 로그 취득 관련 내용을 이해 않습니다. 그래서 많은 사람들이 같은 Fluentd에, 수로, logstash, 베타 버전으로, 거기에 수집 도구를 기록합니다. 당신이 그것을 filebeat 사용하고자하는 이유를 먼저 알아야한다? logstash의 JVM이 실행되기 때문에, 자원 소비가 비교적 큰하는 logstash는 약 500M의 메모리를 소비하는 동안 filebeat 10 M에 메모리 자원을 필요 시작합니다. ELK 공통 로그 수집 프로그램, 로그 방식의 내용의 대부분은 메시지 큐 카프카의 filebeat을 통해 모든 노드로 전송 한 후 구성 파일을 기반으로 클러스터 logstash 콘텐츠 필터를 사용하여 메시지 큐를 참조하십시오. 그런 다음 보여 키바에 의해 elasticsearch 필터링 후 파일로 이송.
filebeat 소개
광부 및 수확기 : Filebeat 두 가지 주요 부분으로 구성. 이러한 구성 요소는 지정된 출력으로 전송 파일 및 이벤트 데이터를 읽기 위해 함께 작동합니다.
일꾼은 무엇입니까?
하나의 파일의 내용을 읽기에 대한 책임 수확기. 겸용 선에 의해 각 파일의 라인을 판독하고, 출력하는 내용을 전송한다. 각 파일은 수확기가 시작됩니다. 수확기 실행 의미 엽니 파일과 가까운에 대한 책임 수확기, 파일이 열려 있습니다. 수집 프로세스가이 파일을 삭제하거나 파일의 이름을 변경하는 경우에도, Filebeat이 아직도이 문서를 읽고 계속 경우이 시간은 수확기가 폐쇄 될 때까지 디스크 공간에 해당하는 파일에 의해 점령되었을 것입니다. close_inactive 매개 변수가 구성된 초과 할 때까지 기본적으로 Filebeat 항상 Filebeat는 수확기가 폐쇄 둘 것이다, 파일에 유지됩니다.
가져올 닫기 수확기 영향 :
수확기 전에 닫힌 경우 처리기 파일이 폐쇄되고, 점령 디스크 자원의 릴리스 전에, 파일이 삭제되거나 이름이 바뀐이 시간을 읽으십시오.
시간이 scan_frequency 매개 변수 구성을 도착하면,이 컬렉션의 파일 내용을 다시 시작합니다.
당신이 Havester 이후에 해제 할 경우, 이동하거나 파일을 삭제 Havester 다시 시작했을 때, 파일 데이터가 수집되지 않습니다.
당신은 수확기를 종료해야하는 경우, 그것은 close_의 * 구성 항목에 의해 제어 될 수있다.
광부는 무엇입니까?
광부는 Harvsters 관리를 담당하고, 소스를 읽을 수 있도록 필요한 모든 데이터를 찾을 수 있습니다. 입력 유형 구성 로그 유형 인 경우, 광부는 파일의 모든 경기의 구성에 대한 경로를 찾은 다음 각 파일에 대한 Harvster를 생성합니다. 광부는 각각의 내부에 자신의 이동 루틴에서 실행하고 있습니다.
로그인 표준 입력 : Filebeat 광부는 현재 두 가지 유형을 지원합니다. 광부 각 타입은 복수의 프로파일에서 정의 될 수있다. 광부 각 파일이 실행 여전히 Harvster를 시작할지 여부를, Harvster를 시작해야하거나 파일이 무시되는 경우 (파일이 무시 ignore_order을 구성 할 수 있습니다) 여부를 확인합니다 로그인합니다. 파일이 Filebeat의 과정에있는 경우 새로 Harvster 파일 크기가 변경, 폐쇄 긴 후 생성, 새 파일은 광부로 선택됩니다 실행합니다.
filebeat 작품
설치 filebeat 서비스
다운로드 및 키 파일을 설치
RPM --import https://packages.elastic.co/GPG-KEY-elasticsearch
얌 소스 파일을 생성
[루트 @ localhost를 ~] # 정력 /etc/yum.repos.d/elk-elasticsearch.repo [탄성 5.x의] 이름 = 5.x를 패키지에 대한 탄성 저장소 base을 = HTTPS : //artifacts.elastic.co/ 패키지 / 5.x를 / 냠 gpgcheck = 1 gpgkey = HTTPS : //artifacts.elastic.co/GPG-KEY-elasticsearch 활성화 = 1 오토 리프레시 = 1 개 유형 = RPM-MD
설치를 시작
냠 filebeat 설치
서비스 시작
시작 systemctl filebeat systemctl 상태 filebeat
로그를 수집
여기에서 우리는 먼저 예를 들어, 단순히 방법을 쓰기 filebeat 프로파일을 설명하기 위해, 고정 표시기 로그를 수집합니다. 세부 사항은 다음과 같습니다 :
[루트 @ 로컬 호스트는 ~] # 개 그렙 "^ \ S * [^ #의 \의 t] * $."/etc/filebeat/filebeat.yml
filebeat.prospectors :
- INPUT_TYPE : 로그
경로 :
-은 / var / lib 디렉토리 / 고정 표시기 / 용기 /*/*.log
output.elasticsearch :
호스트 : [ "192.168.58.128:9200"]
그리고 우리는 다음과 같다, 실제로 많은 콘텐츠가 없습니다. 우리는 모든 컨테이너 노드, 즉 filebeat 로그, /var/lib/docker/containers/*/*.log 수집합니다. 출력 위치는 우리가 직접 ES에 전달 있지만 Logstash 교통에 의해 로그 곳에 우리가 서비스 주소를 ElasticSearch 것입니다.
그 로그 데이터 filebeat 출력 elasticsearch는 속성과 필드가 포함되어있는 것을 알 수 있도록 다시 시작하기 전에, 우리는 또한 ES에 filebeat 인덱스 템플릿을 제출해야합니다. 당신이 직접 작성하지 않고, 거기에이 파일을 설치 한 후 filebeat.template.json, 당신은 학생들이 발견을 통해 찾아보실 수 있습니다 찾을 수 없습니다. 로드 템플릿에서 elasticsearch합니다 :
[루트 @ localhost를 ~] # 컬 -XPUT 'http://192.168.58.128:9200/_template/filebeat?pretty'-d@/etc/filebeat/filebeat.template.json
{
"인정"사실
}
다시 시작 서비스
systemctl 다시 시작 filebeat
팁 : 당신이 시작하면 filebeat 용기를 할 필요가있다은 / var / lib 디렉토리 / 고정 표시기 / 컨테이너 디렉토리가 컨테이너에 장착;
Kibana 배치
위의 구성은 문제가없는 경우, 당신은 키바에 액세스 할 수 있지만 여기에 새 인덱스 패턴을 추가해야합니다. 색인 이름이나 패턴 등으로 채워 져야 filebeat 로그의 전송에 대한 요구 사항에 따라 수동 : "filebeat- *".