Поклонники часто спрашивают меня вариант Flink и искровые потоковое?
Выбор для начинающего бизнеса это очень сложная вещь, очень простой для опытных и часто думают люди.
Выбор времени для подготовки личного знания:
1. глубокого понимания рамок.
2. Глубокое понимание окружающей экологической структуры.
3. Глубокое понимание ваших собственных бизнес-сценариев.
Возьмите Flink и искровой потоковым, например, если понимание его дизайн вдохновения будет очень просто понять, что выяснить:
искра начала партия не будет сделана, а затем создать поток в виде микро-периодический процесс. Использование сцена очень очевидно, позволяет небольшой задержкой, пакетную обработку, пропускную способность приоритета, и искровой потокового вкладчиком так много по-прежнему очень стабильна.
Flink потоковая обработка запускается, а затем поток обработки вдохновения для создания партии. Он очень подходит для высокого реального времени сцены. В настоящее время все еще существует ошибка.
Такой, казалось бы, до сих пор весьма абстрактно, в связи с конкретной сценой, например, Flink делать добро, делая хорошо искру потоковым:
1. глобальной дедупликации, глобальные агрегатные операции, такие как отчетливым, уф и других бизнес-сценариев. Подходит Flink, искра потоковый сделаны много проблем, к последнему с помощью государства или партии хранения третьего оператора, такого Redis, alluxio нравится.
2. требует многократного кадрирование и вывода в том же окне. Это может вызвать FLiNK-х, искра потокового слишком много неприятностей.
3. Только одна обработка. искры потоковые осуществить только один процесс во многом зависит от выхода идемпотента. И Flink, может быть реализован в природе вещей провалиться распределенной контрольной точкой, т.е. распределены двухфазного протокола фиксации. Конечно, Flink также может быть реализован с использованием только один процессом является тождественной раковиной.
4. легче добиться полной поддержки SQL DDL, DML и т.д., а затем перейти к полной SQL для развития бизнеса, подобный моргать. искры потокового потребности микро-пакета РДД в таблицу, небольшой столик является временным, а не во всем мире.
5. Государственное управление. Flink может легко использовать управление фонового документа для достижения большого состояния, но это может вызвать частые эпизоды ошибки операционной системы Linux файлы. Конечно, искра потоковом гибкость в использовании сторонних интерфейсов, таких как alluxio также очень удобно.
6. точек. Асинхронный IO, выходной меру, итерации потоков. Сильный связанных с бизнесом.
Какие сценарии должны быть дополнены, думать об этом потом.