五 flink 分布式集群搭建

1、准备3台服务器

分别重命名服务器名称：hostnamectl set-hostname node180 ；hostnamectl set-hostname node181 ；hostnamectl set-hostname node182

2、安装jdk-1.8.X

文件解压路径：文件解压：tar zxvf  jdk-8u161-linux-x64.gz  -C   /opt/module

配置环境变量：vi /etc/profile

JAVA_HOME=/opt/module/jdk1.8.0_161
JRE_HOME=$JAVA_HOME/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
CLASSPATH=:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib/dt.jar
export JAVA_HOME JRE_HOME PATH CLASSPATH

3、linux局域网中，通过主机名进行通信

扫描二维码关注公众号，回复： 9999550 查看本文章

vi /etc/hosts

192.168.0.180 node180
192.168.0.181 node181
192.168.0.182 node182

利用ifconfig和iwconfig完成每台主机的IP配置，在终端即可通过ping 主机名的方式来验证相互之间是否联通。

5、flink

flink 下载：http://flink.apache.org/downloads.html 

源文件存放目录：/usr/software

文件解压：tar zxvf  flink-1.10.0-bin-scala_2.12.tgz  -C   /opt/module

设置主从：

vi masters

node180:8081

vi slaves

node181

node182

vi flink-conf.yaml

修改flink配置

#jobmanager.rpc.address: node180
high-availability: zookeeper
high-availability.zookeeper.quorum: node180:2181,node181:2181,node182:2181
high-availability.storageDir: hdfs:///flink/ha/
#high-availability.zookeeper.path.root: /flink
#high-availability.cluster-id: /flinkCluster
state.backend: filesystem
state.checkpoints.dir: hdfs:///flink/checkpoints
state.savepoints.dir: hdfs:///flink/checkpoints
state.savepoints.dir: hdfs:///flink/checkpoint

cd /opt/module

拷贝安装节点包

scp -r  flink-1.10.0/ [email protected]:/opt/module

scp -r  flink-1.10.0/ [email protected]:/opt/module

配置环境变量

#flink

export FLINK_HOME=/opt/module/flink-1.10.0
export PATH=$PATH:$FLINK_HOME/bin

执行刷新配置命令：

source /etc/profile

启动flink 

./bin/start-cluster.sh

  

jps查看进程

 

  webui查看

http://192.168.0.180:8081

flink同步配置文件

scp -r flink-1.10.0/conf/. [email protected]:/opt/module/flink-1.10.0/conf
scp -r flink-1.10.0/conf/. [email protected]:/opt/module/flink-1.10.0/conf