ブリーフ
最近の技術的な事前研究プロジェクトを計画する企業は、比較的新しいCDH6.3.1の展開を使用する予定です。
PS:
公式要件ます。https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_requirements_supported_versions.html
第二に、環境を準備
1、ハードウェア:
Linuxディストリビューション:CentOSの7.4
IP | ホスト | CPU(E5-2630) | メモリ(M393A4K40CB1-CRC) | ディスク |
10.95.102.10 | node10.research.com | 40個のコア | 128G | 3.6T * 2 |
10.95.102.6 | node06.research.com | 40個のコア | 128G | 3.6T * 2 |
10.95.102.7 | node07.research.com | 40個のコア | 128G | 3.6T * 2 |
2、ソフトウェア
JDK:JDK-8u181-linuxの-x64.tar.gz
接続します。https://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html
MySQLの:mysqlの-5.7.26-EL7-x86_64.tar.gz
接続します。https://dev.mysql.com/downloads/mysql/5.7.html#downloads
MySQLのJDBCジャー:MVのmysql-コネクタ-javaの-5.1.47.jarのmysql-コネクタjava.jar
接続します。http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.47/mysql-connector-java-5.1.47.jar
CM:CM6.3.1
接続します。https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz
小包:
https://archive.cloudera.com/cdh6/6.3.1/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel
https://archive.cloudera.com/cdh6/6.3.1/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1
https://archive.cloudera.com/cdh6/6.3.1/parcels/manifest.json
より最近のネットワークディスク・ソフトウェア・パッケージは、自己作成することができます。
リンクします。https://pan.baidu.com/s/1UH50Uweyi7yg6bV7dl02mQの
抽出コード:nx7p
第三に、環境の初期化
1、Linuxのホスト名を設定します
各ノードが実行するには、hostnameコマンドを変更します。
hostnamectlセット、ホスト名node06.research.com
hostnamectlセット、ホスト名node07.research.com
hostnamectlセット、ホスト名node10.research.com
/ etc / hostsファイルの内容を見るために、各ノードに追加されます。
node06.research.com 10.95.102.6
10.95.102.7 node07.research.com
10.95.102.10 node10.research.com
2、ファイアウォールクラスタの電源を切ります
各ノードで実行
systemctl停止firewalld && systemctl無効firewalld &&のiptables -F
図3は、クラスタSELinuxをシャットダウン
viのは/ etc / selinuxを/ configに
SELINUX =無効
有効にする無効にLinuxシステムの再起動に変更した後
4、クラスタクロック同期を設定
サーバー0.centos.pool.ntp.org IBURST
サーバー1.centos.pool.ntp.org IBURST
サーバー2.centos.pool.ntp.org IBURST
サーバー3.centos.pool.ntp.org IBURST
図5に示すように、各ノードの展開JDK
[ルート@ node06〜]#ます。mkdirは/ usr / javaの
[ルート@ node06〜]#タール-zxf CDH / JDK-8u191-linuxの-x64.tar.gz -Cは/ usr / javaの/
[ルート@ node06〜]#chownコマンド-Rルート:ルート/usr/java/jdk1.8.0_191
[ルート@ node06〜]#エコー"輸出JAVA_HOME =は/ usr / javaの/ jdk1.8.0_191" >> / etc / profileを
[ルート@ node06〜]#エコー"輸出のPATH =は/ usr / javaの/ jdk1.8.0_191 / binに:$ {PATH}" >> / etc / profileを
[ルート@ node06〜]#ソースは/ etc / profile
[ルート@ node06〜]#これはjavaの
は/ usr /java/jdk1.8.0_191/bin/java
[ルート@ node06〜]#のJava -version
javaのバージョン"1.8.0_191"
のJava(TM)SEランタイム環境(ビルド1.8.0_191-B12)
は、Java HotSpot(TM)64ビットサーバーVM(ビルド25.191-B12、混合モード)
図6に示すように、マスタノードは、MySQLを展開します
参考:https://github.com/Hackeruncle/MySQL/blob/master/MySQL%205.7.11%20Install.txt
7、CDHは、ソース・データベース、ユーザー、アモンサービスデータベースを作成します
デフォルトの文字セットのCMFデータベースを作成し、UTF8。
デフォルトの文字セットのAMONデータベースを作成し、UTF8。
CMFで、すべてを許可* TO 'CMF' @ 'www.research.com BY' IDENTIFIED '%'。;
'www.research.com BY' IDENTIFIEDアモンにすべてを与える* TO 'アモン' @ '%' ; フラッシュ権限;
8、マスターノードの展開JDBC
[ルート@ node06〜]#ます。mkdir -pは、/ usr / share / javaの
[ルート@ node06〜]#cpはCDH / mysqlのコネクタ-javaの-5.1.47.jarを/ usr / share / javaの/
[ルート@ node06〜] #CDを/ usr / share / javaの/
[ルート@ node06のjava]#mvのmysqlのコネクタ-javaの-5.1.47.jarのmysql-コネクタjava.jar
[ルート@ node06のjava]#
四、CDH展開
1、オフライン展開CMサーバとエージェント
ソフトウェアの解凍ソフトウェアのディレクトリを作成するためのすべてのノード[1.1]
[ルート@ node06オプトイン]#ます。mkdir Clouderaのマネージャ
[ルート@ node06オプト]#のCD
[ルート@ node06〜]#のCDのCDH
[ルート@ node06 CDH]#タール-zxf cm6.3.1-redhat7.tar.gz -C / OPT / Clouderaのマネージャー
マスタノード06 CMサーバとしてマスターノードが実行を選択する1.2 [06]、直接展開
[ルート@ node06 CDH]#のCD /opt/cloudera-manager/cm6.3.1/RPMS/x86_64/
[ルート@ node06 x86_64版]#rpmで-ivh ClouderaのManagerのデーモン-6.3.1-1466458.el7.x86_64.rpm --nodeps --force
[ルート@ node06 x86_64の]#RPM -ivh ClouderaのManagerのサーバ6.3.1-1466458.el7.x86_64.rpm --nodeps --force
直接デプロイされたすべてのノードCM剤として[(マスタノードを含む)すべてのノードのために1.3
CD /opt/cloudera-manager/cm6.3.1/RPMS/x86_64
のrpm -ivh ClouderaのManagerのデーモン・6.3.1-1466458.el7.x86_64.rpm --nodeps --force
のrpm -ivh Clouderaのマネージャー、エージェント- 6.3.1-1466458.el7.x86_64.rpm --nodeps --force
サーバノード06へのエージェントの設定ポイントを変更するすべてのノード[1.4]
-i "S / SERVER_HOST =ローカルホスト/ SERVER_HOST = node06.research.com / G" /etc/cloudera-scm-agent/config.iniのsed
[1.5]構成サーバの修正マスタノード
[ルート@ node06 x86_64版]#vimの/etc/cloudera-scm-server/db.properties
com.cloudera.cmf.db.type = mysqlの
com.cloudera.cmf.db.host = node06.research.com
com.cloudera.cmf.db.name = CMF
com.cloudera.cmf.db.user = CMF
com.cloudera.cmf.db.password = www.research.com
com.cloudera.cmf.db.setupType = EXTERNAL
2、プライマリーソースノード展開小包オフライン
2.1 HTTPDをインストール
yumをインストール-yのhttpd
2.2展開オフライン小包ソース
[ルート@ node06〜]#ます。mkdir -p / var / www / htmlと設定/ cdh6_parcel
[ルート@ node06〜]#cpはCDH / CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcelは/ var / WWW / HTML / cdh6_parcel /
[ルート@ node06〜]#mvのCDH / CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1 /var/www/html/cdh6_parcel/CDH-6.3。 1 [ルート@ノード[ルート@ node06〜]#mvのCDH / CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1 /var/www/html/cdh6_parcel/CDH-6.3.1 -1.cdh6.3.1.p0.1470567-el7.parcel.sha
[ルート@ node06〜]#mvのCDH / manifest.jsonを/ var / www / htmlと設定/ cdh6_parcel /
[ルート@ node06〜]#のhttpdを起動しsystemctl
2.3ページビューhttp://10.95.102.6/cdh6_parcel/
3,06マスターブート・サーバ・ノード
[ルート@ node06〜]#systemctlの開始Clouderaの-SCM-サーバー
[ルート@ node06〜]#LLは/ var / log / Clouderaの-SCM-サーバー/
合計20
-rw-R ----- 1 Clouderaの-SCM cloudera- SCM 16679 12月10日18時27 Clouderaの-SCM-のserver.log
-rw-R ----- 1体のClouderaの-SCM Clouderaの-SCM 0 12月10日18時27 CMF-サーバnio.log
-rw-R --- - 1 Clouderaの-SCM Clouderaの-SCM 0 12月10日夜06時27分CMF-サーバperf.log
[ルート@ node06〜]#テール/var/log/cloudera-scm-server/cloudera-scm-server.log
4、すべてのノードは、エージェントを開始します
Clouderaの-SCM-agentを起動systemctl
5、Webページの操作
5.1ロギングマスタノードポート7180
http://node06.research.com:7180/
5.2アカウントのパスワードを入力してください
管理者/管理者
無料版5.3を選択
5.4。クラスターの作成
クラスタホストを入力し、カンマで区切っ
上記の構成の良いローカルミラーを記入
その他のオプションは、http構築されたミラーを追加します
進みます
JDKは続行するオプションなしでインストール
塗りつぶしLinuxのrootパスワード3つのホスト