Hbase整合MapReduce两个注意的地方

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_31246691/article/details/82716116

一、通过javaAPI插入数据到HBase时,HBase里scan出来的数据乱码,如下代码:

Put put = new Put(Bytes.toBytes(key.get()));

我这里的key是Map阶段的输入key,格式为LongWritable,插入数据后,Hbase对应表的rowkey出现了乱码。
解决方法:

Put put = new Put(Bytes.toBytes(key.toString()));

类似的,对于int,double同样需要先转为String,否则会乱码

二、***********.jar is not a valid DFS filename
出错代码如下:

TableMapReduceUtil.initTableMapperJob("example", scan, 
                MyMapper.class, Text.class, Text.class, job);
TableMapReduceUtil.initTableReducerJob("row", MyReduce.class, job);

原因:没有区分本地文件系统与Hadoop集群文件系统
修改:

TableMapReduceUtil.initTableMapperJob("example", scan, 
                MyMapper.class, Text.class, Text.class, job,false);
TableMapReduceUtil.initTableReducerJob("row", MyReduce.class, job,null,null,null,null,false);

就是添加后面的false参数,使得区分本地文件系统与Hadoop集群文件系统

猜你喜欢

转载自blog.csdn.net/qq_31246691/article/details/82716116