qq_34382453的博客

1、Database 表空间     是HDFS的一个文件夹，列出hive中的表空间语句为：show databases     hive默认有一个default表空间。     默认的数据库存储位置为：/user/hive/warehouse     位置设置参数为：hive.metastore.warehouse.dir 2、DDL : Data Definition Language  ...

这里模拟一个统计每个区域最受关注的top3的产品业务需求，并模拟生成3张表，分别为城市表city_info，产品表product_info，用户点击行为表user_click。所用的工具有HDFS，HIVE，SQOOP，MYSQL。

如何使用hive进行wordcount统计 如下图，我们先在hive中建一张名为wc的表，里面只有一个字段，包含以逗号隔开的数据 然后使用函数split , explode,count,group by进行统计 1、 先使用split将每行数据切开，这里是用逗号分隔 select split(tence,',') from wc; 2、再用explode函数将每个数据处理成一行，即每行只有一条...

1、查询hive中的函数，使用 show functions; 即可看见可用的所有函数。如下图（列出部分）： 如果我们想查看某个方法的具体用法，如abs,可以用命令 desc function abs; 会返回这个函数的用法，当然，还有更详细的命令 desc function extended abs; 这个命令会列出具体的例子，可以更直观的知道函数的使用方法。 ...

1 、什么是分区表 一个表按照某个或某些字段进行分区的表 2、为什么要用分区表 如果一个hive表没有分区，在查询数据的时候，会进行全表扫描的动作，非常的耗费资源和时间。使用分区表可以只查询指定分区下的数据，大大减少了查询的时间。 3、建分区表 create table order( order_num string, order_time string ) partitioned b...

概述  hive是一个构建在hadoop hdfs之上的一个数据仓库。它能够对大量数据进行读写与管理。hive元数据默认是存在Derby数据库上，但是Derby是一个单session，每次只允许一个客户端连接，所以并不适用于生产。一般大家都把hive元数据存在mysql之上，不仅满足多用户连接，也可以将mysql搭建一主一备的集群，防止单点故障。 hive-site.xml配置  下图是将hive...

行式存储与列式存储   在介绍hive存储格式之前，我们先来了解一下行式存储与列式存储的区别。 1、行式存储 优点：   一条数据就是一行，比较符合面向对象的思维，所有信息都放在一起。这种存储格式可以很方便的进行insert/update操作。 缺点： a、如果只需要查询几个列的数据，它会读取所有的列的数据，而不能跳过不需要的列。一般在数据量比较大的时候性能影响比较明显。 b、由于每一行中有很多不...

  hive beeline客户端方式采用JDBC方式借助于Hive Thrift服务访问Hive数据仓库。   HiveThrift(HiveServer)是Hive中的组件之一，设计目的是为了实现跨语言轻量级访问Hive数据仓库，有Hiveserver和 Hiveserver2两个版本，两者不兼容，使用中要注意区分。体现在启动HiveServer的参数和jdbc:hiveX的参数上。 启动hi...

一、hive自定义函数有三种，即UDF，UDAF，UDTF。 UDF 一进一出   对每一条输入分别处理，有多少输入就有多少输出。 UDAF 多进一出   例如sum这种功能的函数，对输入数据有聚合功能。多条数据生成一条数据。 UDTF 一进多出   例如将一条数据按照规则切分为多列。一条数据生成多条数据。 二、这里介绍下最简单的UDF创建与使用 1、maven添加hive依赖 <...