SeaTunnel k8s에서 Zeta 엔진을 실행하는 로컬 모드를 마스터하는 방법을 단계별로 가르쳐드립니다.

Xiao Xiami 0.0에서 재인쇄됨

소개: Kubernetes의 인기와 발전으로 점점 더 많은 기업과 팀이 Kubernetes를 사용하여 애플리케이션을 관리하고 배포하기 시작했습니다. 그러나 Kubernetes가 작동하는 기본 방식은 최선의 선택이 아닐 수 있습니다. 특히 더 효율적이고 안정적인 애플리케이션 배포 및 관리 기능이 필요한 경우에는 더욱 그렇습니다. 따라서 SeaTunnel은 Zeta 엔진(로컬 모드 모드)을 실행하는 방법을 제공합니다. 이를 통해 Kubernetes는 Zeta 엔진을 로컬에서 실행하여 보다 효율적인 애플리케이션 배포 및 관리를 달성할 수 있습니다. 이 기사에서는 Zeta 엔진(로컬 모드)을 실행하는 SeaTunnel k8s에 대해 자세히 알아보고 Zeta 엔진을 더 잘 활용하는 방법을 알아봅니다.

달리다

SeaTunnel을 서버에 업로드합니다. 이전에 install-plugin.sh를 압축해제하여 실행한 적이 있었는데, 편의상 시연을 위해 install-plugin.sh 스크립트를 실행한 후 바로 situnnel을 사용했습니다.

install-plugin 실행 후 lib 디렉토리에는 다음이 포함됩니다.

tar -zxvf apache-seatunnel-2.3.3-bin.tar.gz
sh apache-seatunnel-2.3.3/bin/install-plugin.sh
tar -czvf  apache-seatunnel-2.3.3-bin.tar.gz  apache-seatunnel-2.3.3

SeaTunnel 이미지를 빌드합니다. Seatunnel이 설치된 폴더에 Dockerfile을 생성합니다. 구성은 다음과 같습니다. 버전을 직접 선택할 수 있습니다.

FROM openjdk:8

ENV SEATUNNEL_VERSION="2.3.3"
COPY /apache-seatunnel-${SEATUNNEL_VERSION}-bin.tar.gz /opt/apache-seatunnel-${SEATUNNEL_VERSION}-bin.tar.gz
WORKDIR /opt
RUN tar -xzvf apache-seatunnel-${SEATUNNEL_VERSION}-bin.tar.gz
RUN mv apache-seatunnel-${SEATUNNEL_VERSION} seatunnel
RUN rm -f /opt/apache-seatunnel-${SEATUNNEL_VERSION}-bin.tar.gz
WORKDIR /opt/seatunnel

주문 실행

docker build -t seatunnel:2.3.3 -f Dockerfile.

이미지 보기

docker images

아래와 같이 미러링됨

여기에서는 데모를 위해 Minikube를 사용하여 이미지를 로드합니다.

minikube image load seatunnel:2.3.3

minikube image ls

이미지 보기

아래와 같이 situnnel.streaming.conf를 생성합니다.

env {
  execution.parallelism = 1
  job.mode = "STREAMING"
  checkpoint.interval = 2000
}

source {
    FakeSource {
      result_table_name = "fake"
      row.num = 160000
      schema = {
        fields {
          name = "string"
          age = "int"
        }
      }
    }
}

transform {

}

sink {
  Console {}
}

구성 맵 만들기

kubectl create cm seatunnel-config \
--from-file=seatunnel.streaming.conf=seatunnel.streaming.conf

다음 예와 같이 situnnel.yaml을 생성합니다.

apiVersion: v1
kind: Pod
metadata:
  name: seatunneltest
spec:
  containers:
  - name: seatunnel
    image: seatunnel:2.3.3
    command: ["/bin/sh","-c","/opt/seatunnel/bin/seatunnel.sh --config /data/seatunnel.streaming.conf -e local"]
    volumeMounts:
      - name: seatunnel-config
        mountPath: /data/seatunnel.streaming.conf
        subPath: seatunnel.streaming.conf
  volumes:
        - name: seatunnel-config
          configMap:
            name: seatunnel-config
            items:
            - key: seatunnel.streaming.conf
              path: seatunnel.streaming.conf
~

구현하다

kubectl apply -f seatunnel.yaml

다음과 같이 Pod 결과를 확인하세요.

원본 링크: https://blog.csdn.net/weixin_41854429/article/details/132619265

이 기사는 Beluga Open Source Technology 에서 출판되었습니다 !

SeaTunnel k8s에서 Zeta 엔진을 실행하는 로컬 모드를 마스터하는 방법을 단계별로 가르쳐드립니다.

달리다

추천