Mongodb数据同步到Hive

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/guicaizhou/article/details/83861633

思路：利用Mongodb的export工具导出数据成json格式；

             load该json数据到临时hive表的一个字段；

             从该临时hive表解析json落地成最终的表；

代码：

1. 利用Mongodb的export工具导出数据成json格式

$mongo_path/bin/mongoexport -h $host:27017 -u $user -p $password -d $db -c $collection --fields _id,listContent,title,content --type json -q $query -o $mongodb_data_path/article_inc.json

2.load该json数据到临时hive表的一个字段
hive -e "truncate table schema_name.table_name;"
hive -e "load data local inpath '$mongodb_data_path/article_inc.json' overwrite into table schema_name.table_name;"

3. 从该临时hive表解析json落地成最终的表
insert overwrite table schema2_name.table2_name  
select  
    json_tuple("_id","title", "listContent", "content")  
from schema_name.table_name;</code>  

具体例子：（shell脚本）

yesterday=`date -d 'yesterday' '+%Y-%m-%d'`
 
DB_NAME=ods
MONGO_DATA=/home/hadoop/xxx/mongoExport/xxx.json
 
#-- MONGODB连接配置信息
mongoexport --host=(mongodb url) \
--port=端口  \
--username=用户名 \
--password=密码 \
--db=具体db \
--collection=表 \
--type=json \
--query="{crawl_time:{\"\$gte\":'$yesterday'}}" \
--out=${MONGO_DATA}
 
hive -e "CREATE TABLE IF NOT EXISTS ${DB_NAME}.xxx (params string);"
hive -e "LOAD DATA LOCAL INPATH '${MONGO_DATA}' OVERWRITE INTO TABLE ${DB_NAME}.xxx;"
 
rm -f ${MONGO_DATA}
 
 
hive -e "
insert overwrite table ${DB_NAME}.xxx partition (dt)
select 
	primary_key,
	phone,
	plat_code,
	crawl_time,
	jrjt_del_dt,
	dt 
	from (
		select primary_key,phone,plat_code,crawl_time,jrjt_del_dt,to_date(crawl_time) dt 
		from ${DB_NAME}.xxx  
		lateral view json_tuple(params,'primary_key','phone','plat_code','crawl_time','jrjt_del_dt') v1 as primary_key,
		phone,plat_code,crawl_time,jrjt_del_dt
	) base;"