hylan:hive学习

1.hive系统架构:

MetaStore(Derby、MySQL)

HDFS(/user/hive/warehouse)

MapReduce

2.hive配置文件:

hive-env.sh

hive-site.xml

hive-log4j.properties

3.hive命令行:

hive --config

hive shell(quit,exit    reset    set    add,list,delete files    !<command>    dfs<command>    HQL    source files)

hive service(hive --service cli    hive --service hiveserver    hive --service metastore    hive --service hwi    hive --service jar)

4.hiveQL:

语法关键字:(show databases    show PARTITIONS    show tables    create table    load data(local) inpath    select * from    desc,alert,drop    limit,as,case when then,union    like,group by,having    order by,sort by    cluster by)

数据类型:简单类型(tinyint,smallint,int,bigint    float,double    boolean    string    timestamp    binary)

复杂类型(array    map    struct)

表:内部表

外部表(HDFS    HBase    Cassandra    DynamoDB)

表查询:(单表查询    inner joins    outer joins    semi joins    map joins    子查询    视图)

5.数据表设计(每日一表    每日一表分区    按桶分散数据)

6.hive优化:(表分区Partitions    表存储桶buckets    表压缩    索引(bitmap indexes)    执行计划        控制mapper.reduce数量)

7.访问方式:(hive shell    java jdbc api    thrift client    rhive)

8.自定义函数:(自定义函数UDF    自定义聚合函数UADF)

9.hive安全:

认证(hive.files.umask.value    hive.metastore.authorization.storage.checks    hive.metastore.execute.setugi)

授权(hive.security.authorization.enabled    hive.security.authorization.createtable.owner.grants    hive.security.authorization.createtable.user.grants)

权限模型(user    group    role)

10.web控制台(hwi:9999)

11.软件集成(Zookeeper    Thrift    Ooize    HCatalog    AWS)

12.hive案例




猜你喜欢

转载自blog.csdn.net/t_thylan/article/details/79803006