将TPC-DS数据加载到MariaDB中

将TPC-DS数据加载到MariaDB中

环境：

• ubuntu 18.04
• MariaDB 10.1.29-MariaDB-6
• TPC-DS v2.7

第一步 下载TPC-DS工具

• 访问此页面并按要求下载TPC-DS工具

• 到相应目录下解压文件

  unzip tpc-ds-tool.zip

第二步 建立dsdgen&dsqgen

#安装相关依赖
sudo apt-get install gcc make

• 进入tools目录，执行make命令

  zhouj@ubuntu:~/v2.7.0/tools$ ./dsdgen -scale 5 -force
  

• 生成1G数据

  ./dsdgen -DIR /home/zhouj/Desktop/datas -SCALE 1

第三步 生成原始文本数据，并在MariaDB上创建数据库和表

• 创建一个数据库

sudo mysql -e "create database tpcds"

• 在数据库下创建表

  sudo mysql -Dtpcds <tpcds.sql

• 显示表

  sudo mysql -Dtpcds -e "show tables"

  第四步 将数据加载到MariaDB

编写脚本1.sh如下：

DIR=/home/zhouj/Desktop/datas
ls $DIR/*.dat | while read file; do
    pipe=$file.pipe
        mkfifo $pipe
        table=`basename $file .dat | sed -e 's/_[0-9]_[0-9]//'`
            echo $file $table
            LANG=C && sed -e 's_^|_\\N|_g' -e 's_||_|\\N|_g' -e 's_||_|\\N|_g' $file > $pipe & \
                    mysql --local-infile -Dtpcds -e \
                          "load data local infile '$pipe' replace into table $table character set latin1 fields terminated by '|'"
                rm -f $pipe
        done

编写脚本2.sh如下：

for i in `ls /home/zhouj/v2.7.0/query_templates/query*`;
do
    echo "define _END= \"\";" >> $i

编写脚本3.sh如下：

for i in `ls /home/zhouj/v2.7.0/query_templates/query*`;
do

    ./dsqgen -template `basename $i` -directory /home/zhouj/v2.7.0/query_templates -dialect oracle -scale 5 #> /home/zhouj/v2.7.0/sql/`basename $i`
    mv /home/zhouj/v2.7.0/tools/query_0.sql /home/zhouj/sql/`basename $i`

done

• 授权，执行对应脚本

sudo chmod +x 1.sh
sudo chmod +x 2.sh
sudo chmod +x 3.sh
sudo ./1.sh
sudo ./2.sh
sudo ./3.sh

第五步 执行SQL语句

• 进入MariaDB

  zhouj@ubuntu:~/v2.7.0/tools$ sudo mysql -u root -p tpcds
  

  执行命令：

MariaDB [tpcds]>  /home/zhouj/v2.7.0/tools/merge.sql

部分执行结果如下：

参考

感谢以下大神，您的分享使我少走弯路：
[1] 蘑菇丁:https://blog.csdn.net/haoxiaoyan/article/details/60570771
[2]蘑菇丁:https://blog.csdn.net/haoxiaoyan/article/details/71515008
[3]Dongwon’s Tech Blog:http://eastcirclek.blogspot.com/

ps：如有不当之处，请指正。