- kylin 预计算实现过程:将hive数据源的数据依据制定的计算逻辑将指定好的维度计算为指标,将所有可能的计算结果(cube)存储到HBase。(确定是所有吗?)
- cube和cuboid,cube就是一个数据源的所有计算结果,cuboid就是每一种维度组合,并包含计算的指标,cube的计算过程是逐层计算的,首先计算Base cuboid,然后计算维度数依次减少,逐层向下计算每层的cuboid。
- cuboid转换为HBase的rowkey存储,
- cuboid的维度会映射为HBase的rowkey,其中维度会被kylin进行字典编码以节省存储资源,而其指标会映射为HBase的value。
- 在计算cuboid过程中,会将Hive表的数据转化为HBase的KV形式。Rowkey的具体格式是
cuboid id + 具体的维度值
(最新的Rowkey中为了并发查询还加入了ShardKey,是最新的吗),cuboid为8位 - 所有的cuboid计算完成后,会将cuboid转化为HBase的
KeyValue
格式生成HBase的HFile,最后将HFile load进cube对应的HBase表中。
- SQL查询怎样转成HBase的查询操作
-
1 select year, sum(price) 2 from table 3 where city = "beijing" 4 group by year
这个SQL涉及维度
year
和city
,所以其对应的cuboid是00000011,又因为city的值是确定的beijing
,所以在Scan HBase时就会Scan Rowkey以00000011开头且city的值是beijing
的行,取到对应指标sum(price)
的值,返回给用户。
-
kylin的实现原理
猜你喜欢
转载自www.cnblogs.com/dretrtg/p/13170556.html
今日推荐
周排行