首先,查看Hive的元数据库(MySQL)编码:
mysql> show variables like '%char%';
下面使用修改hive默认的SQL语句来解决乱码问题。
1、查找文件
[kanaka@spark ~]$ cd $HIVE_HOME/scripts/metastore/upgrade/mysql
2、依据使用的Hive版本来修改相应的SQL文件
我修改的是文件:hive-schema-2.3.0.mysql.sql
3、修改如下:
54行
`COMMENT` varchar(256) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL,
改成:
`COMMENT` varchar(256) CHARACTER SET utf8 DEFAULT NULL,
565行
`PARAM_VALUE` varchar(4000) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL,
改成:
`PARAM_VALUE` varchar(4000) CHARACTER SET utf8 DEFAULT NULL,
249行:
`PKEY_COMMENT` varchar(4000) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL,
改成:
`PKEY_COMMENT` varchar(4000) CHARACTER SET utf8 DEFAULT NULL,
4、初始化元数据库
[kanaka@spark hive]$ schematool -dbType mysql -initSchema
5、验证
1)建表语句:
create table test_user
(id string COMMENT '编号',
username string COMMENT '用户名',
password double COMMENT '密码')
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
LINES TERMINATED BY '\n';
2)验证