Hive(Impala)测试数据生成与加载

1、通过shell脚本生成测试数据。

脚本如下，生成的每条记录包括四个字段，如果感觉不够的话可根据自己需求增加字段。

rm -rf ./data.txt  
touch data.txt  
delimiter=','
for((i=0;i<200;i++))  
do  
str1='name';
str2=`openssl rand -base64 8`
num1=`echo $RANDOM`
name=${i}${delimiter}${str1}${i}${delimiter}${str2}${delimiter}${num1}   
echo  $name>> data.txt  
done  

echo "The data has been generated"

2、在HUE中，使用Impala建表。

CREATE TABLE IF NOT EXISTS test(id INT, name STRING, password STRING, salary INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY ','

3、在Hive CLI中加载数据。

#hive

LOAD DATA LOCAL INPATH '/root/home/data.txt' OVERWRITE INTO TABLE test;

4、在HUE中检查结果。