очертание
Механизм контрольной точки является краеугольным камнем надежности Flink может гарантировать Flink кластер по некоторым причинам (например, ненормальный выход) терпит неудачу, то состояние может быть восстановлено на всю схему приложения состояния перед отказом оператора для обеспечения приложений Фигура состояние последовательного потока.
реализация механизма процесса контрольно - пропускной пункт
Флинка контрольной точки инициируется Jobmaster, исходя механизмы контрольных точек, при запуске программы, она будет создавать Jobmaster CheckpointCoordinator, оператор периодически передается на выходной барьер для того , для каждого состояния и вычисленную резервного копирования данных, когда данные о состоянии вычислить конечный успех оператора резервного копирования, то этот пункт пропуска будет завершена. Когда происходит сбой, то программа просто считывает резервные данные в последнем состоянии расчетов успешного оператора контрольной точки восстановление.
Относящиеся к компонентам и понятий
Jobmaster: Jobmaster Флинка является главным узлом, несет ответственность за задачу получить, распределять и координировать осуществление, и отвечает за реализацию данных контрольной точки восстановления.
барьер: барьер представляет собой легкие данные в соответствии с определенными правилами (планирования) вставляются в исходный поток данных, исходные данные не будут влиять на производительности обработки данных без изменения порядка исходных данных. CheckpointCoordinator: контрольно - пропускной пункт координатор, поток , когда программа начинает JobMaste , в свою очередь, каждое приложение требует контрольной точки при запуске, JobManager FLiNK в создание CheckpointCoordinator, CheckpointCoordinator исключительной ответственности за это приложение снимки.
Источник Оператор: Загрузка оператор источника данных.
Промежуточный Оператор: Все промежуточный оператор обработки преобразования данных.
тонуть оператор: наконец , посадка оператора данных.
Снимок: рассчитывать одну точку в время резервного копирования субгосударственными данных вычисляется.
Конкретный процесс анализа контрольных точек
одного источника входного процесса осуществления контрольной точки
Для всех источников потока приложения 1. оператора CheckpointCoordinator периодически передают барьер.
2. Когда оператор источника получить барьер, а затем приостановить обработку данных, а затем сделал в их текущем состоянии снимка, и сохраняется в указанной постоянной памяти, окончательный отчет о ситуации, чтобы сделать свои собственные моментальные снимки CheckpointCoordinator, в то же время ко всем собственному выходу барьера, процесс восстановления данных широковещательной передачи оператора.
3. При получении нижнего барьера оператора, приостанавливает свою собственную обработку данных и связанное с ними состояние сами по себе сделал в снимок, и сохраняется в указанной постоянная память, заключительный доклад их положение к моментальной CheckpointCoordinator, в то время как все себе вниз по течению вещания оператора барьера, процесс восстановления данных.
4. Каждый оператора на шаге 3 к потоку снимке непрерывно транслируются, не передаются к раковине до последнего оператора барьера, снимка закончен.
5. Когда CheckpointCoordinator после получения всех докладов оператора о том , что снимок производственного цикла успеха, в противном случае, если оператор не получил все отчеты в течение установленного периода времени, это считается снимком производственного цикла не удался.
Два входных источников контрольных точек процесса реализации
Если оператор имеет два входных источников, временная блокировка барьера для получения источника входного сигнала, до барьерного второго источника входного сигнала с тем же числом прибытия, а затем сделать свои собственные снимки и вниз по течению передач барьера. Конкретные шаги заключаются в следующем.
C 1. Если предположить , что оператор имеет два входных источников А и В, I-го периода снимка, Барьерный по некоторым причинам (например, задержки обработки, сетевые задержки и т.д.) Данный источник входного сигнала до прибытия, отсчет времени суб с входных каналов , временно блокирующие входной источник А, Б источником только получать входные данные.
2. При поступлении входного источник, излучаемом барьер В, собственном производстве оператора С сообщает свой собственный снимок, и CheckpointCoordinator случай производства снимка, а затем два объединены в барьер, транслируется на все последующие оператор.
3. При возникновении неисправности по какой-либо причине, CheckpointCoordinator фиги уведомление о всех операторах однородных потоков возвращаются в состояние цикла контрольных точек, а затем восстановить обработку потока данных. Распределенная контрольная точка механизм гарантирует, что данные обрабатываются только один раз (только один раз).
резюме
контрольно - пропускной пункт механизм является важной характеристикой Flink, он является отказоустойчивой легкой реализацией FLiNK, в ошибках в работе , когда программе Flink, нужна только контрольная точка
восстановления сохраненных данных в оперативные данные о состоянии, не требует повторной операции для восстановления данных. Механизм Мастер контрольно - пропускной пункт является важным обучения FLiNK в
часть.
Общее количество статей от общественности, Гуанчжоу темная лошадка программист Центра (itheimagz) больше ресурсов, пожалуйста, посетите
