Flink环境搭建:Flink环境搭建步骤详解

在Flink学习的入门阶段,非常重要的一个过程就是Flink环境搭建,这是认识FLInk框架的第一步,也是为后续的理论学习和代码练习打下基础。今天加米谷大数据就为大家带来Flink环境搭建的步骤解析,帮助大家一步步来部署好Flink环境。

Flink官方有三种部署模式,即Local、Cluster、Cloud三种环境。其中Local模式是最简单也是最基础的,在入门阶段可以作为尝试练习。而Cluster和Cloud两种环境,可以根据实际需求来决定。

Flink环境搭建

为了能够与其他成熟的框架系统进行集成,Cluster和Cloud两种环境分别与其他环境可以进行很好的集成。Cluster模式下可以利用YARN/Mesos集成进行资源管理,Cloud部署模式下可以与GCE(Google Compute Engine),EC2(Elastic Compute Cloud)进行集成。

Local模式

该模式下Apache Flink整体运行在Single JVM中,在开发学习中使用,同时也可以安装到很多端类设备上。

Cluster模式

该模式是典型的投产的集群模式,Apache Flink既可以Standalone的方式进行部署,也可以与其他资源管理系统进行集成部署,比如与YARN进行集成。

Cloud模式

该模式主要是与成熟的云产品进行集成,Apache Flink官网介绍了Google的GCE,Amazon的EC2。

下面为大家分享一下Flink 本地模式的环境搭建——

安装Flink集群之前需要准备:1.每台节点需要配置jdk8环境变量。2.需要每台节点有ssh服务,且有免密通信。

1.进入https://flink.apache.org/downloads.html下载flink.

下载Flink版本,这里选择了基于Scala2.11和Hadoop2.6的1.7.1版本.

2.下载好Flink之后上传到Master(node1)节点上解压:

3.进入…/conf/flink-conf.yaml中配置:

a)jobmanager.rpc.address:node1设置Master节点地址

b)jobmanager.heap.size:1024m设置Master使用的最大内存,单位是MB

c)taskmanager.heap.size:1024m设置Worker使用的最大内存,单位是MB

4.配置…/conf/slaves,配置Worker节点列表

5.将配置好的Flink发送到其他worker节点(node2,node3)上。

6.启动Flink集群,访问webui

在Master节点上,…/bin/start-cluster.sh启动集群。访问webui:http:node1:8081

7.停止集群:在Master节点中…/bin/stop-cluster.sh

然后将以上Flink Socket WordCount案例打包提交到集群中运行,无论在Master节点还是在Worker节点提交都可以。

首先需要在node5节点中启动socket 9999端口:

nc–lk 9999

提交命令如下:

./flink run/root/test/MyFlink-1.0-SNAPSHOT-jar-with-dependencies.jar–port 9999

在node5节点上输入数据后在webUI中查看日志。

以上就是关于Flink环境搭建的步骤详解了,在初入门的学习阶段,Local模式基本上就可以了,随着后续学习的深入,可以再尝试搭建更复杂的Cluster和Cloud模式,当然,这对于硬件设备的要求也会更高一些。

发布了23 篇原创文章 · 获赞 21 · 访问量 1万+

猜你喜欢

转载自blog.csdn.net/weixin_43443852/article/details/105369783
今日推荐