使用Sqoop将MySql to Hive问题解决记录

使用Sqoop将MySql to Hive问题解决记录

1、Sqoop连接hive元问题
hive配置文件hive-site.xml 将hive.metastore.uris，value值设置为空。

<property>
  <name>hive.metastore.uris</name>
  <value></value>
</property>

2、Sqoop导入到hive
问题描述：
OOM错误（java.lang.OutOfMemoryError:Java heap space）
和
Container killed on request. Exit code is 143
Container exited with a non-zero exit code 143

调整hadoop配置mapred-site.xml 将mapreduce.map.java.opts和mapreduce.reduce.java.opts适当调整大小

<property>
   <name>mapreduce.map.java.opts</name>
   <value>-Djava.net.preferIPv4Stack=true -Xmx1792m</value>
</property>
<property>
   <name>mapreduce.reduce.java.opts</name>
   <value>-Djava.net.preferIPv4Stack=true -Xmx2048m</value>
</property>
<property>

3、derby jar包问题
问题描述：
Could not initialize class org.apache.derby.jdbc.AutoloadedDriver40

将derby jar包注释，留derby-10.11.1.1.jar

mv derby-10.13.1.1.jar derby-10.13.1.1.jar.bak

mv derby-10.5.3.0_1.jar derby-10.5.3.0_1.jar.bak
mv derby-10.14.2.0.jar derby-10.14.2.0.jar.bak
mv derby-10.12.1.1.jar derby-10.12.1.1.jar.bak
mv derby-10.10.2.0.jar derby-10.10.2.0.jar.bak

** 配置presto需要在hive配置文件hive-site.xml

<property>
   <name>hive.metastore.warehouse.dir</name>
   <value>/user/hive/warehouse</value>
   <description>location of default database for the warehouse</description>
</property>
<property>
  <name>hive.metastore.uris</name>
  <value>thrift://nfcls8:9083</value>
</property>