大数据课程E4——Flume的Channel

文章作者邮箱:[email protected]              地址:广东惠州

 ▲ 本章节目的

⚪ 了解Channel的作用和配置;

⚪ 掌握Channel的使用方法;

⚪ 掌握Channel的File Channel;

⚪ 掌握Channel的JDBC Channel;

⚪ 掌握Channel的Spillable Memory Channel;

一、Memory Channel

1. 概述

1. Memory Channel将数据临时存储到内存的指定队列中。

2. 如果不指定,则队列大小默认是100,即在队列中最多允许同时存储100条数据。如果队列被占满,那么后来的数据就会被阻塞。实际过程中,一般会将这个值调剂为10W~30W,如果数据量比较大,也可以考虑调剂为50W。

3. Channel可以批量接收Source的数据,也可以将数据批量发送给Sink,那么默认情况下,每一批数据是100条。实际过程中,一般会将这个值调节为1000~3000,如果Channel的容量为50W,那么此时一般将批量调剂为5000。

4. Memory Channel是将数据存储在内存中,所以不可靠,但是读写速度快,因此适应于要求速度但不要求可靠性的场景。

2. 配

猜你喜欢

转载自blog.csdn.net/u013955758/article/details/131987084