一、问题
在创建hive表时,comment要加中文注释,比如:
drop table if exists users;
create table users(
name string comment '姓名',
age int comment '年龄'
);
执行后再show create table users;
二、别人的解决方法
中国文化博大精深,无奈没有成为世界统一标准,根据一般人的经验,脑中一定是utf8哪个地方没设置好的问题,经过一番百度,找到 如下解决方法,在hive的mysql元数据库中执行:
alter database hive character set latin1;
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;
alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
再到hive中重新创建表后执行show create table users;
,无奈还是乱码!依然没解决! 百度不是解决根本问题的方法!
三、问题分析
尽管上面的方法修改了元数据的编码格式,我们查看下hive的mysql元数据表COLUMNS_V2
依然是乱码。。。
分析:客户端通过jdbc方式连接hive执行sql,sql提交给hiveserver2执行,hiveserver2再告诉hivemetastore要创建表,于是hivemetastore负责跟mysql打交道,它俩直接打交道也通过jdbc,注意,客户端与hiveserver2,hivemetastore跟mysql,虽然都是jdbc,但是驱动是不一样的,我们应该关注的是hivemetastore跟mysql交互过程中的utf8编码没设置。so ,问题已分析完
四、解决方法
上面的元数据修改sql执行后,在hive-site.xml里面的mysql jdbc配置中
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://recessw-hdp3-manager001:3306/hive?createDatabaseIfNotExist=true&useUnicode=true&characterEncoding=UTF-8</value>
</property>
重要的是加上useUnicode=true&characterEncoding=UTF-8
。再次创建表后执行show create table users;
成功解决!