Guia de implantação do mecanismo Zeta no modo cluster Apache SeaTunnel k8s

A equipe da comunidade de código aberto da China fez sua primeira transmissão ao vivo, contando a história por trás da comunidade de código aberto da China em nome do compartilhamento."

SeaTunnel fornece um método para executar o mecanismo Zeta (modo cluster), que permite que o Kubernetes execute o mecanismo Zeta localmente para obter implantação e gerenciamento de aplicativos mais eficientes. Neste artigo, exploraremos mais sobre o SeaTunnel k8s executando o mecanismo Zeta (modo cluster) e aprenderemos como aproveitar melhor as vantagens do mecanismo Zeta.

1. Carregue o SeaTunnel para o servidor. Já descompactei e executei install-plugin.sh antes. Por conveniência, usei diretamente o seatunnel após executar o script install-plugin.sh para demonstração.

O diretório lib após a execução do install-plugin contém o seguinte:

tar -zxvf apache-seatunnel-2.3.3-bin.tar.gz
sh apache-seatunnel-2.3.3/bin/install-plugin.sh
tar -czvf  apache-seatunnel-2.3.3-bin.tar.gz  apache-seatunnel-2.3.3

2. Construa a imagem do túnel do assento. Crie um Dockerfile na mesma pasta onde o seatunnel está instalado. A configuração é a seguinte, você mesmo pode escolher a versão:

FROM openjdk:8
ENV SEATUNNEL_HOME="/opt/seatunnel"
ENV SEATUNNEL_VERSION="2.3.3"
COPY /apache-seatunnel-${SEATUNNEL_VERSION}-bin.tar.gz /opt/apache-seatunnel-${SEATUNNEL_VERSION}-bin.tar.gz
WORKDIR /opt
RUN tar -xzvf apache-seatunnel-${SEATUNNEL_VERSION}-bin.tar.gz
RUN mv apache-seatunnel-${SEATUNNEL_VERSION} seatunnel
RUN rm -f /opt/apache-seatunnel-${SEATUNNEL_VERSION}-bin.tar.gz
WORKDIR /opt/seatunnel

Executando um pedido

docker build -t seatunnel:2.3.3 -f Dockerfile.

3. Ver imagem

docker images

Espelhado conforme mostrado abaixo

4. Carregar a imagem no k8s é usado aqui para demonstração.

minikube image load seatunnel:2.3.3

Consulte o acima: Ensine passo a passo como dominar as habilidades de execução do modo local do mecanismo Zeta no SeaTunnel k8s

5. Crie o configmap da seguinte maneira

kubectl create configmap hazelcast-client  --from-file= config/hazelcast-client.yaml
kubectl create configmap hazelcast  --from-file=config/hazelcast.yaml
kubectl create configmap seatunnelmap  --from-file=config/seatunnel.yaml

6. Use o Reloader para reiniciar automaticamente os pods após atualizar o configmap

wget https://raw.githubusercontent.com/stakater/Reloader/master/deployments/kubernetes/reloader.yaml

kubectl apply -f reloader.yaml

7. Crie seatunnel-cluster.yml da seguinte maneira

apiVersion: v1
kind: Service
metadata:
  name: seatunnel
spec:
  selector:
    app: seatunnel
  ports:
  - port: 5801
    name: seatunnel
  clusterIP: None
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: seatunnel
  annotations:
    configmap.reloader.stakater.com/reload: "hazelcast,hazelcast-client,seatunnelmap"
spec:
  serviceName: "seatunnel"
  replicas: 3
  selector:
    matchLabels:
      app: seatunnel
  template:
    metadata:
      labels:
        app: seatunnel
    spec:
      containers:
        - name: seatunnel
          image: seatunnel:2.3.3
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 5801
              name: client
          command: ["/bin/sh","-c","/opt/seatunnel/bin/seatunnel-cluster.sh -DJvmOption=-Xms2G -Xmx2G"]
          resources:
            limits:
              cpu: "1"
              memory: 4G
            requests:
              cpu: "1"
              memory: 2G
          volumeMounts:
            - mountPath: "/opt/seatunnel/config/hazelcast.yaml"
              name: hazelcast
              subPath: hazelcast.yaml
            - mountPath: "/opt/seatunnel/config/hazelcast-client.yaml"
              name: hazelcast-client
              subPath: hazelcast-client.yaml
            - mountPath: "/opt/seatunnel/config/seatunnel.yaml"
              name: seatunnelmap
              subPath: seatunnel.yaml
      volumes:
        - name: hazelcast
          configMap:
            name: hazelcast
        - name: hazelcast-client
          configMap:
            name: hazelcast-client
        - name: seatunnelmap
          configMap:
            name: seatunnelmap

8. implemento

 kubectl apply -f seatunnel-cluster.yml

9. Modifique a configuração no configmap

kubectl edit cm hazelcast

修改集群地址 
这里采用的是headless service访问模式
一般pod之间访问其格式为 <pod-name>.<service-name>.<namespace>.svc.cluster.local

Exemplo como abaixo

• seatunnel-0.seatunnel.default.svc.cluster.local
• seatunnel-1.seatunnel.default.svc.cluster.local
• seatunnel-2.seatunnel.default.svc.cluster.local

Lembrete amigável: não use tabulações, use espaços. Caso contrário, um erro será relatado

kubectl edit cm hazelcast-client

kubectl edit cm seatunnelmap

Mude aqui para o seu próprio endereço hdfs.

10. Você pode ver o seguinte

11. Depois que todos os nós forem atualizados e estiverem no estado de execução, você poderá entrar no contêiner para verificar se o caminho foi modificado.

kubectl exec -it seatunnel-0 /bin/bash
cat config/hazelcast.yaml

12. Ver registros dentro do contêiner

tail -200f logs/seatunnel-engine-server.log

Descobrimos que o cluster está funcionando normalmente.

13. Executar tarefas

Podemos abrir uma nova conexão e fazer login em outro nó do pod para realizar tarefas de teste do cluster:

kubectl exec -it seatunnel-1 /bin/bash

bin/seatunnel.sh --config config/v2.streaming.conf.template

Descobrimos que as tarefas também começaram a ser executadas em outros pods

Link original: https://blog.csdn.net/weixin_41854429/article/details/132836402

Este artigo foi publicado pela Beluga Open Source Technology !

A equipe da Google Python Foundation foi demitida. O Google confirmou as demissões, e as equipes envolvidas em Flutter, Dart e Python correram para a lista de favoritos do GitHub - Como as linguagens e estruturas de programação de código aberto podem ser tão fofas? Xshell 8 abre teste beta: suporta protocolo RDP e pode se conectar remotamente ao Windows 10/11 Quando os passageiros se conectam ao WiFi ferroviário de alta velocidade , a "maldição de 35 anos" dos codificadores chineses surge quando eles se conectam à alta velocidade. rail WiFi. A primeira ferramenta de pesquisa de IA do MySQL com suporte de longo prazo versão 8.4 GA Perplexica : Completamente de código aberto e gratuito, uma alternativa de código aberto ao Perplexity Os executivos da Huawei avaliam o valor do código aberto Hongmeng: Ele ainda tem seu próprio sistema operacional, apesar da supressão contínua. por países estrangeiros. A empresa alemã de software automotivo Elektrobit abriu o código-fonte de uma solução de sistema operacional automotivo baseada no Ubuntu.

{{o.nome}}

{{m.nome}}