60-130-336- 소스 관련 -Flink는 -source-카프카 카프카 읽기

1. 미토

[사슬 실패 외부 영상 덤프는, 소스 스테이션은 보안 체인 메커니즘을 가질 수 있고, 이는 직접 다운 (IMG-5fGiUa2M-1,585,357,958,781) (./ 00 FLINK / 9--3d8098f4-2b42-4551-b7e0-98d018c8de83 업로드 된 이미지를 저장하는 것을 권장합니다. PNG)]

2. 개요

싱크 커넥터는 링킹 데이터를 출력 단자를 나타내고와 FLINK에서는 각각 소스 커넥터 커넥터를 대신하여 데이터 소스에 연결된다. 여기에서 우리는 읽고 카프카의 작성을위한 소스 및 싱크 커넥터 FLINK을 소개합니다.

3.Apache 카프카 소스 커넥터

널리 소비자의 사용 및 이벤트의 흐름을 배포되는 메시징 시스템 가입 - 아파치 카프카의 핵심은 게시 분산되어, 분산 워크 플로우 플랫폼입니다.

카프카는 주제로 구성 이벤트를 스트리밍합니다. 토픽 이벤트 로그 (이벤트 로그)이며, 이벤트에 대한 이벤트의 순서가 기록 된 것을 보장하기 위해 읽어 보시기 바랍니다. 확장 달성하기 위해, 항목은 파티션의 복수로 분할 될 수 있고, 클러스터의 각 노드에 위치. 그러나 주제 파티션 후, 소비자는이 시간이 너무에만 파티션 레벨 이벤트를 보장하기 위해, 다중 파티션에서 데이터를 읽을 수 있기 때문이다. 카프카에서는 현재 판독 위치는이 (오프셋) 오프셋이라고한다.

FLINK 카프카 커넥터 종속 또는 SBT 받는다는에 의해 구성 될 수 있고, SBT 다음은 예이다 :

https://mvnrepository.com/artifact/or

추천

출처blog.csdn.net/qq_21383435/article/details/105155621