【大数据学习 | HBASE高级】hive操作hbase

一般在查询hbase的数据的时候我们可以直接使用hbase的命令行或者是api进行查询就行了，但是在日常的计算过程中我们一般都不是为了查询，都是在查询的基础上进行二次计算，所以使用hbase的命令是没有办法进行数据计算的，并且对于hbase的压力也会增加很多，hbase的本身并没有提供任何的计算逻辑，所以我们要依赖于mapreducer进行计算，这个代码上面我们已经实现过了，但是后续开发过程中很少有人会直接开发mr程序，这个代码的复杂程度比较高，并且会非常大的拖慢我们的开发速度，所以一般我们都会使用hive以外表的形式操作hbase中的数据，进行多表的管理查询计算或者是进行数据的导入和导出。

首先在hive中增加hbase的链接信息。

修改hive-site.xml中的值。

<property>
 <name>hive.zookeeper.quorum</name>
 <value>hadoop106,hadoop107,hadoop108</value>
</property>
<property>
 <name>hive.zookeeper.client.port</name>
 <value>2181</value>
</property>

在自己的hadoop目录下的mapred-site.xml文件修改：

<property>
 <name>hive.zookeeper.quorum</name>
 <value>hadoop106,hadoop107,hadoop108</value>
</property>
<property>
 <name>hive.zookeeper.client.port</name>
 <value>2181</value>
</property>

在hive/conf目录中增加log4j.properties文件输入日志级别设置

log4j.rootLogger=error,console

log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.out
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c %M(): %m%n

然后启动hive就可以直接连接hbase了

1. 创建hive的内部表

hive的内部表，hive会不仅会管理元数据信息，也会管理整个表的其他所有数据。当在hive创建该表时，将会在hbase创建映射表。

create table student_hive(id int,name string,age int)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = 
":key,info:name,info:age")
TBLPROPERTIES ("hbase.table.name" = "student_hbase1");