hive中文汉字乱码终极解决办法

一、问题

在创建hive表时,comment要加中文注释,比如:

drop table if exists users;
create table users(
name string comment '姓名',
age int comment '年龄'
);

执行后再show create table users;
在这里插入图片描述

二、别人的解决方法

中国文化博大精深,无奈没有成为世界统一标准,根据一般人的经验,脑中一定是utf8哪个地方没设置好的问题,经过一番百度,找到 如下解决方法,在hive的mysql元数据库中执行:

alter database hive character set latin1;
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
alter table PARTITION_PARAMS  modify column PARAM_VALUE varchar(4000) character set utf8;
alter table PARTITION_KEYS  modify column PKEY_COMMENT varchar(4000) character set utf8;
alter table  INDEX_PARAMS  modify column PARAM_VALUE  varchar(4000) character set utf8;

再到hive中重新创建表后执行show create table users;无奈还是乱码!依然没解决! 百度不是解决根本问题的方法!

三、问题分析

尽管上面的方法修改了元数据的编码格式,我们查看下hive的mysql元数据表COLUMNS_V2
在这里插入图片描述
依然是乱码。。。
分析:客户端通过jdbc方式连接hive执行sql,sql提交给hiveserver2执行,hiveserver2再告诉hivemetastore要创建表,于是hivemetastore负责跟mysql打交道,它俩直接打交道也通过jdbc,注意,客户端与hiveserver2,hivemetastore跟mysql,虽然都是jdbc,但是驱动是不一样的,我们应该关注的是hivemetastore跟mysql交互过程中的utf8编码没设置。so ,问题已分析完

四、解决方法

上面的元数据修改sql执行后,在hive-site.xml里面的mysql jdbc配置中

<property>
     <name>javax.jdo.option.ConnectionURL</name>
     <value>jdbc:mysql://recessw-hdp3-manager001:3306/hive?createDatabaseIfNotExist=true&useUnicode=true&characterEncoding=UTF-8</value>
</property>

重要的是加上useUnicode=true&characterEncoding=UTF-8。再次创建表后执行show create table users;
在这里插入图片描述
成功解决!

原创文章 13 获赞 26 访问量 1万+

猜你喜欢

转载自blog.csdn.net/u013289115/article/details/106137430