从零开始——Elk-6.3安装
最近发现elk的版本更新的太快了，发现以前的5点多版本，有的老旧了，所以就更新一下elk版本，顺便也学习一下。接下来我们来安装一下elk的6.3版本。
ElasticSearch安装
ElasticSearch是一个用Java开发的基于Lucene的搜索服务器。它可以提供一个分布式多用户能力的全文搜索引擎，基于RESTfulweb接口。现阶段它主要为Apache许可条款下的开放源码发布，也是当前流行的企业级搜索引擎。Elasticsearch设计主要用于云计算中，ElasticSearch实时搜索，稳定，可靠，快速，安装使用方便的优点，很好的解决大数据查询缓慢问题。
ElasticSearch是基于java来开发的，所以我们好安装java包。
[root@node2 ~]# yum install -y *jdk log4j* 安装java环境 [root@node2 ~]# cd /usr/local/src/ [root@node2 src]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.0.tar.gz
[root@node2 ~]# java -version openjdk version "1.8.0_151" OpenJDK Runtime Environment (build 1.8.0_151-b12) OpenJDK 64-Bit Server VM (build 25.151-b12, mixed mode) ###可以看到已经安装java的最新版本了。
[root@node2 src]# tar -xf elasticsearch-6.3.0.tar.gz ##解压 [root@node2 src]# cd elasticsearch-6.3.0 [root@node2 elasticsearch-6.3.0]# ls bin config head lib LICENSE.txt logs modules NOTICE.txt plugins README.textile [root@node2 config]# ls elasticsearch.keystore elasticsearch.yml jvm.options log4j2.properties role_mapping.yml roles.yml users users_roles
[root@node2 elasticsearch-5.6.3]# vim config/elasticsearch.yml ###修改下面两项 network.host: 172.25.0.30 ###为本地ip，监听主机 discovery.zen.minimum_master_nodes: 1 ###表示集群的节点的数量我这里只有一台，所以修改为1 http.cors.enabled: true http.cors.allow-origin: "*" xpack.security.enabled: false ###关闭举例
##x-pack默认会启用：xpack.security.enabled，xpack.monitoring.enabled，xpack.graph.enabled，xpack.watcher.enabled，xpack.reporting.enabled 在配置文件里面设置false即可，开始使用head插件的话需要停掉security服务，但是停掉security服务的话对我们的权限管理也受到很大的影响。
注意如果需要配置集群的话
添加以下配置：
#discovery.zen.ping.unicast.hosts: ["172.25.0.30", "172.25.0.33"] discovery.zen.minimum_master_nodes: 1
[root@node2 bin]# su – www [www@node2 ~]$ cd /usr/local/src/elasticsearch-6.3.0/ [root@node2 ~]# yum install -y log4j* [root@node2 ~]# chown www:www -R /usr/local/src/elasticsearch-6.3.0/ [www@node2 bin]$ ./elasticsearch [root@node2 src]# cat /etc/sysctl.conf vm.max_map_count=655360 [root@node2 src]# cat /etc/security/limits.conf * soft nofile 65536 * hard nofile 131072 * soft nproc 2048 * hard nproc 4096 [root@node2 ~]# sysctl -p vm.max_map_count = 655360
[www@node2 bin]$ ./elasticsearch
[root@node2 ~]# netstat -ntpl ###查看一下服务，可以看到elasticsearch已经起来了 Active Internet connections (only servers) Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name tcp6 0 0 172.25.0.30:9200 :::* LISTEN 1650/java tcp6 0 0 172.25.0.30:9300 :::* LISTEN 1650/java
再访问以下我们9200端口，也已经成功了，可以看到信息了。
[root@node2 ~]# curl 172.25.0.30:9200
{
"name" : "XjOLC6R",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "45286kMyRMqEsjgH04lQCg",
"version" : {
"number" : "6.3.0,
"build_hash" : "1a2f265",
"build_date" : "2017-10-06T20:33:39.012Z",
"build_snapshot" : false,
"lucene_version" : "6.6.1"
},
"tagline" : "You Know, for Search"
}
添加head插件
1、 创建存放这个插件的目录：
#mkdir head #cd head #git clone git://github.com/mobz/elasticsearch-head.git #cd elasticsearch-head #npm install #npm install -g grunt-cli #grunt server
2、 监听端口为localhost，可以修改配置文件：
[root@node2 head]# cd elasticsearch-head/ [root@node2 elasticsearch-head]# vim Gruntfile.js 做如下修改：
server: {
options: {
port: 9100,
hostname: '0.0.0.0', #####添加这句。
base: '.',
keepalive: true
}
}
}
3、 修改es配置文件添加如下：
[root@node2 config]# vim elasticsearch.yml http.cors.enabled: true http.cors.allow-origin: "*"
####然后重启es服务
4、启动head插件，然后访问web的ip与端口即可：
[root@node2 elasticsearch-head]#grunt server
访问head模块
http://172.25.0.30:9100/
Kibana安装
1、下载kibana并且修改配置文件
[root@node2 src]# wget https://artifacts.elastic.co/downloads/kibana/kibana-6.3.0-linux-x86_64.tar.gz
[root@node2 config]# vim kibana.yml elasticsearch.url: "http://172.25.0.30:9200" server.host: "172.25.0.30" xpack.security.enabled: true elasticsearch.username: "elastic" elasticsearch.password: "changeme"
这里的密码我没用改，所以直接用es的默认密码就可以了
启动kibana 登录即可：
Logstash安装
部署logstash：
1、 安装java环境，配置java_home:
[root@node2 src]# wget https://artifacts.elastic.co/downloads/logstash/logstash-6.3.0.tar.gz
2、 解压logstash 安装启动即可：
[root@node2 test]# tar zxvf logstash-6.3.0.tar.gz
3、 启动输出hello world:
[root@node2 logstash-6.3.0]# bin/logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'
hello world 启动后，这个是直接输入的
{
"@timestamp" => 2016-12-05T14:09:56.746Z,
"@version" => "1",
"host" => "node2",
"message" => "hello world"
}
-e
-f logstash.conf 表示执行某个文件命令。也可以-f /etc/logstash/ 表示中logstash目录下的所有*.conf文件。
-l /var/log/logstash.log 表示日志文件输入的位置。
--pipeline-workers 或 -w 表示CPU个数。
备注：codec=rubydebug是上面的输出形式，要是直接stdout{}的话就是直接输出。
4、 用supervisor管理logstash：
[root@node2 ~]# wget https://files.pythonhosted.org/packages/44/60/698e54b4a4a9b956b2d709b4b7b676119c833d811d53ee2500f1b5e96dc3/supervisor-3.3.4.tar.gz #yum install python-setuptools
如果脚本直接不了就按装这个
[root@node2 supervisor-3.3.1]# python setup.py install
5、 生成启动脚本：
[root@node2 supervisor-3.3.1]# vim /etc/init.d/supervisord
#! /bin/sh
PATH=/sbin:/bin:/usr/sbin:/usr/bin
PROGNAME=supervisord
DAEMON=/usr/bin/$PROGNAME
CONFIG=/etc/$PROGNAME.conf
PIDFILE=/tmp/$PROGNAME.pid
DESC="supervisord daemon"
SCRIPTNAME=/etc/init.d/$PROGNAME
# Gracefully exit if the package has been removed.
test -x $DAEMON || exit 0
start()
{
echo -n "Starting $DESC: $PROGNAME"
$DAEMON -c $CONFIG
echo "..."
}
stop()
{
echo -n "Stopping $DESC: $PROGNAME"
supervisor_pid=$(cat $PIDFILE)
kill -15 $supervisor_pid
echo "..."
}
case "$1" in
start)
start
;;
stop)
stop
;;
restart)
stop
start
;;
*)
echo "Usage: $SCRIPTNAME {start|stop|restart}" >&2
exit 1
;;
esac
exit 0
6、 生成配置文件并且启动：
#echo_supervisord_conf > /etc/supervisord.conf
[program:logstash] command=/usr/local/src/logstash-6.3.0/bin/logstash -f /etc/logstash-6.3.0/etc/logstash_indexer.conf -w 4 -l /var/log/logstash/agent.log user=www ##启动的用户 directory=/usr/local/src/logstash-6.3.0/bin/logstash stdout_logfile=/var/log/sup.log autostart=true autorestart=true redirect_stderr=true stopsignal=QUIT
7、 然后启动supervisord:
#service supervisord start [root@node2 supervisor-3.3.1]# ps -ef | grep supervisor root 14581 1 0 10:11 ? 00:00:00 /usr/bin/python /usr/bin/supervisord -c /etc/supervisord.conf
##然后启动logstash就已经监听文件，后台运行了。
[root@node2 ~]# supervisorctl start logstash
到这里，elk的基本安装与管理就完成，接下来，我们就可以愉快的玩耍了。
总结：
每天学习一点，更新一下新知识。