ドッカービルドの前の使用完全分散型のHadoop:ドッカービルドHadoopクラスタ(疑似分散および完全分散)の使用ビルドスパーククラスタに、このレコード、プロジェクトが完了していない実装することの両方を使用する前に:Webログトラフィック解析システム(システムは現在オフライン解析モジュールを達成するために仮想マシンを使用している、リアルタイム分析を伴う資源問題に完了していない---プロジェクトのリアルタイム分析のためのスパーククラスタ)
まず、チャートによると、基本的な環境を構築します
①Scalaバージョン:2.13ダウンロード:https://www.scala-lang.org/download/
②Dockerバージョン:ドッカーバージョン19.03.5、ダウンロード:https://docs.docker.com/install/linux/docker-ce/centos/
③のZooKeeperクラスタ(バージョン:3.4.14)を構築、ダウンロード:http://mirror.bit.edu.cn/apache/zookeeper/を
④ビルドHadoopクラスタ(バージョン:2.7.7)、ダウンロード:https://archive.apache.org/dist/hadoop/common/
⑤インストール水路(バージョン:1.9.0)、ダウンロード:http://flume.apache.org/download.html
⑥ビルドカフカクラスター(バージョン:2.4.0)、ダウンロード:http://kafka.apache.org/downloads
⑦ビルドのHBaseクラスタ(バージョン:0.98.17)、ダウンロード:https://archive.apache.org/dist/hbase/
⑧ビルドスパーククラスター(バージョン:2.4.4)、ダウンロード:https://www.apache.org/dyn/closer.lua/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7 .tgzファイル
クラスタ環境スパークを構築するには、上記に基づいて、