Apache SeaTunnel k8s クラスター モード Zeta エンジン導入ガイド

ファイル

SeaTunnel は、Zeta エンジン (クラスター モード) を実行する方法を提供します。これにより、Kubernetes は Zeta エンジンをローカルで実行して、より効率的なアプリケーションの導入と管理を実現できます。この記事では、Zeta エンジン (クラスター モード モード) を実行する SeaTunnel k8s について詳しく調査し、Zeta エンジンをより効果的に活用する方法を学びます。

  1. SeaTunnel をサーバーにアップロードします。以前、便宜上、install-plugin.sh スクリプトを実行した後、seatunnel を直接使用してデモンストレーションを行いました。

install-plugin を実行した後の lib ディレクトリには次のものが含まれます。

ファイル

tar -zxvf apache-seatunnel-2.3.3-bin.tar.gz
sh apache-seatunnel-2.3.3/bin/install-plugin.sh
tar -czvf  apache-seatunnel-2.3.3-bin.tar.gz  apache-seatunnel-2.3.3
  1. シートトンネル イメージを構築します。 Seatunnel がインストールされているのと同じフォルダーに Dockerfile を作成します。構成は次のとおりです。バージョンは自分で選択できます。
FROM openjdk:8
ENV SEATUNNEL_HOME="/opt/seatunnel"
ENV SEATUNNEL_VERSION="2.3.3"
COPY /apache-seatunnel-${SEATUNNEL_VERSION}-bin.tar.gz /opt/apache-seatunnel-${SEATUNNEL_VERSION}-bin.tar.gz
WORKDIR /opt
RUN tar -xzvf apache-seatunnel-${SEATUNNEL_VERSION}-bin.tar.gz
RUN mv apache-seatunnel-${SEATUNNEL_VERSION} seatunnel
RUN rm -f /opt/apache-seatunnel-${SEATUNNEL_VERSION}-bin.tar.gz
WORKDIR /opt/seatunnel

注文の実行

docker build -t seatunnel:2.3.3 -f Dockerfile.
  1. 画像を見る
docker images

以下に示すようにミラーリングされます

ファイル

  1. ここではデモのために Minikube を使用してイメージを k8s にロードします。
minikube image load seatunnel:2.3.3

上記を参照してください: SeaTunnel k8s で Zeta エンジンのローカル モードを実行するスキルを習得する方法を段階的に説明します。

  1. 次のように構成マップを作成します
kubectl create configmap hazelcast-client  --from-file= config/hazelcast-client.yaml
kubectl create configmap hazelcast  --from-file=config/hazelcast.yaml
kubectl create configmap seatunnelmap  --from-file=config/seatunnel.yaml
  1. Reloader を使用して、構成マップの更新後にポッドを自動的に再起動する
wget https://raw.githubusercontent.com/stakater/Reloader/master/deployments/kubernetes/reloader.yaml

kubectl apply -f reloader.yaml

ファイル

  1. 次のようにseatunnel-cluster.ymlを作成します。
apiVersion: v1
kind: Service
metadata:
  name: seatunnel
spec:
  selector:
    app: seatunnel
  ports:
  - port: 5801
    name: seatunnel
  clusterIP: None
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: seatunnel
  annotations:
    configmap.reloader.stakater.com/reload: "hazelcast,hazelcast-client,seatunnelmap"
spec:
  serviceName: "seatunnel"
  replicas: 3
  selector:
    matchLabels:
      app: seatunnel
  template:
    metadata:
      labels:
        app: seatunnel
    spec:
      containers:
        - name: seatunnel
          image: seatunnel:2.3.3
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 5801
              name: client
          command: ["/bin/sh","-c","/opt/seatunnel/bin/seatunnel-cluster.sh -DJvmOption=-Xms2G -Xmx2G"]
          resources:
            limits:
              cpu: "1"
              memory: 4G
            requests:
              cpu: "1"
              memory: 2G
          volumeMounts:
            - mountPath: "/opt/seatunnel/config/hazelcast.yaml"
              name: hazelcast
              subPath: hazelcast.yaml
            - mountPath: "/opt/seatunnel/config/hazelcast-client.yaml"
              name: hazelcast-client
              subPath: hazelcast-client.yaml
            - mountPath: "/opt/seatunnel/config/seatunnel.yaml"
              name: seatunnelmap
              subPath: seatunnel.yaml
      volumes:
        - name: hazelcast
          configMap:
            name: hazelcast
        - name: hazelcast-client
          configMap:
            name: hazelcast-client
        - name: seatunnelmap
          configMap:
            name: seatunnelmap
  1. 埋め込む
 kubectl apply -f seatunnel-cluster.yml

ファイル

ファイル

  1. configmap で構成を変更する
kubectl edit cm hazelcast
修改集群地址 
这里采用的是headless service访问模式
一般pod之间访问其格式为 <pod-name>.<service-name>.<namespace>.svc.cluster.local

以下のような例

  • Seatunnel-0.seatunnel.default.svc.cluster.local
  • Seatunnel-1.seatunnel.default.svc.cluster.local
  • Seatunnel-2.seatunnel.default.svc.cluster.local

注意: タブは使用せず、スペースを使用してください。それ以外の場合は、エラーが報告されます

ファイル

kubectl edit cm hazelcast-client

ファイル

kubectl edit cm seatunnelmap

ファイル

ここを自分の hdfs アドレスに変更します。

  1. 次のことがわかります

ファイル

  1. すべてのノードが更新され、実行状態になったら、コンテナに入ってパスが変更されているかどうかを確認できます。
kubectl exec -it seatunnel-0 /bin/bash
cat config/hazelcast.yaml

ファイル

  1. コンテナ内のログを表示する
tail -200f logs/seatunnel-engine-server.log

ファイル

クラスターが正常に動作していることがわかりました。

  1. タスクの実行

新しい接続を開いて別のポッド ノードにログインし、クラスターをテストするタスクを実行できます。

kubectl exec -it seatunnel-1 /bin/bash
bin/seatunnel.sh --config config/v2.streaming.conf.template

タスクが他のポッドでも実行を開始していることがわかりました

ファイル

元のリンク: https://blog.csdn.net/weixin_41854429/article/details/132836402

この記事はBeluga Open Source Technologyによって公開されています。

Google Python Foundation チームが解雇されたことを Google が確認し、Flutter、Dart、Python に関与するチームが GitHub のホット リストに殺到しました - オープンソースのプログラミング言語とフレームワークはどうしてこんなにも魅力的なのでしょうか? Xshell 8 ベータ テストを開始: RDP プロトコルをサポートし、Windows 10/11 にリモート接続 できる Rail WiFi の最初の長期サポート バージョン 8.4 GA AI 検索ツール Perplexica : 完全にオープンソースで無料、Perplexity の代替となるオープンソースの価値をファーウェイ幹部が評価 : 継続的な抑制にもかかわらず、依然として独自のオペレーティング システムを持っています。ドイツの自動車ソフトウェア会社 Elektrobit がUbuntu をベースとした自動車オペレーティング システム ソリューションをオープンソース化しました。
{{名前}}
{{名前}}

おすすめ

転載: my.oschina.net/SeaTunnel/blog/11066434