基于kubernetes实现efk日志收集--aliyun

EFK平台搭建(ALIYUN) 

环境准备:k8s-master01  k8s-node2  k8s-node2

 注意;该环境需要10G左右的内存分配,需要给pod节点配置多点内存

Meter节点:

添加 aliyun、aliyuncs、 google 仓库

helm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts
helm repo add aliyuncs https://apphub.aliyuncs.com
helm repo add incubator http://storage.googleapis.com/kubernetes-charts-incubator

查看可用版本 

helm search elasticsearch | grep aliyun


图片 1.png

创建文件目录

mkdir efk
cd efk/

创建namespace命名空间

kubectl create namespace efk

下载elasticsearch、fluentd、kibana文件

helm fetch aliyuncs/elasticsearch --version=11.0.4(v2.4.0)
helm fetch aliyuncs/fluentd --version=2.3.3
helm fetch aliyuncs/kibana --version=5.0.6

解压

tar -xf elasticsearch-11.0.4.tgz
tar -xf kibana-5.0.6.tgz
tar -xf fluentd-elasticsearch-2.0.7.tgz

 部署 ELASTICSEARCH

基于,实验的资源有限,所以需要降低配置

 vim elasticsearch/values.yaml 

master:  name: master

  ## Number of master-eligible node(s) replicas to deploy

  ##

  replicas1 #副本数为1

  …

  persistence:

    ## If true, use a Persistent Volume Claim, If false, use emptyDir

    ##

enabledfalse  #关闭pv磁盘挂载

coordinating:

  ## Number of coordinating-only node(s) replicas to deploy

  ##

  replicas#副本数为1

data:

  name: data

  ## Number of data node(s) replicas to deploy

  ##

  replicas#副本数为1

  persistence:

    ## If true, use a Persistent Volume Claim, If false, use emptyDir

    ##

enabledfalse  #关闭pv磁盘挂载

ingest:

  enabled: false

  name: ingest

  ## Number of ingest node(s) replicas to deploy

  ##

  replicas#副本数为1

 指定es目录下values所在,部署es


cd elasticsearch
helm  install --name els1 --namespace=efk -f values.yaml .


图片 2.png 

查看pod

kubectl get pod -n efk

查看svc

kubectl get svc  -n efk


图片 3.png 

运行pod获取es集群数据测试

kubectl run cirror-$RANDOM --rm -it --image=cirros -- /bin/sh

通过curl Elasticsearch:Port/_cat/nodes获取es数据

curl 10.96.228.76:9200/_cat/nodes

图片 5.png
部署FLUENTD
cd fluentd-elasticsearch
vim  values.yaml

# 更改其中 Elasticsearch 访问地址

host: 'elasticsearch-client' 改为

host: '10.96.228.76

在fluentd目录下values所在,部署fluentd-elasticsearch

helm install --name flu1 --namespace=efk -f values.yaml .


图片 6.png

查看pod

kubectl get pod -n efk | grep flu


图片 7.png 

部署 KIBANA 

cd kibana
vim  values.yaml

 persistence:

  enabledfalse #关闭pv磁盘挂载

service:

  port: 80

  typeNodePort #svc网络模式

elasticsearch:

  hosts:

     - 10.96.228.76   #es的地址

 port: 9200  #es端口

指定kibana目录下values所在,部署kibana

helm install --name kib1 --namespace=efk -f values.yaml .


图片 8.png

查看pod

kubectl get pod -n efk | grep kib1


图片 9.png

查看svc,获取端口

kubectl get svc -n efk

图片 10.png
访问KIBANA

google访问

http://MasterIP:端口

  新建索引


图片 11.png

查看获取的数据


图片 12.png

到此已经完成了,其他的,可以慢慢研究




猜你喜欢

转载自blog.51cto.com/xiaozhagn/2553614