Hive 数据导入

原创 于 2021-11-16 20:30:19 发布 · 1.8k 阅读 · 1 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#hive #分布式存储 #java

创建数据库，导入hive


第一步：打开hadoop
在这里插入图片描述

第二步：

在这里插入图片描述

复制ssh会话，beeline连接hive

在这里插入图片描述

创建数据库

在这里插入图片描述

show数据库，使用itcase数据库。

在这里插入图片描述
如果操作无错误， 开启hive服务的连接会提示ok。
在这里插入图片描述
网页查看。
在这里插入图片描述

表结构。
在这里插入图片描述
user_p.txt 表结构

在这里插入图片描述
在这里插入图片描述

----------------- 查看表

在这里插入图片描述
desc 表名; 查看表结构

在这里插入图片描述
在 export目录下创建一个data文件夹，用来以后存放试验数据，将user_p.txt 上传到data文件夹。

​ 内容

在这里插入图片描述
下一步：
在这里插入图片描述
成功导入。
在这里插入图片描述

创建外部表：

在这里插入图片描述

查看

在这里插入图片描述

student.txt

在这里插入图片描述
将student.txt rz上传到data目录

在这里插入图片描述

上传

在这里插入图片描述

在这里插入图片描述
创建外部表

在这里插入图片描述
查看表内容

在这里插入图片描述

DataGrip通过SSH隧道连接HIVE并进行Kerberos认证
毒白sir的博客
12-29 5079
DataGrip通过SSH隧道连接HIVE并进行Kerberos认证 DataGrip连接HIVE并进行Kerberos认证
Hive基础概念和基础操作
xiaochen_bigdata的博客
07-06 1655
目录一.基础概念1.概述2.组成架构3.特点4.hive和传统数据库区别比如mysql二.基础操作常用命令1.进入hive数据库2.查看某个数据库3.进入某个数据库4.查看所有表5.显示表结构6.查询表数据7.显示表名的分区8，创建数据库9.删除数据库10.创建数据表11.加载数据列表12.重命名表13.删除表14.插入表数据15.表结构修改16.分桶表17.创建一个视图数据仓库(Data Warehouse)工具 基于Hadoop的 将 结构化的数据文件 映射成一张表 提供了类SQL的HQL的查询功能
java代码导入hive_把本地的文件数据导入到Hive分区表--系列①Java代码
weixin_35048609的博客
02-27 1885
本篇博客,小菌为大家带来关于如何将本地的多个文件导入到Hive分区表中对应的分区上的方法。一共有四种方法,本篇将介绍第一种—Java代码。首先编写代码,通过MapReduce将处理好的数据写入到HDFS的目录下。下面提供一种参考!Mappublic class Mapper01 extends Mapper {/**** @param key 行首偏移量* @param value 一整行的...
java导出hive数据_Hive数据导出的几种方式
weixin_42494890的博客
02-26 553
Hive数据导出的几种方式参考资料地址：http://blog.csdn.net/qianshangding0708/article/details/50394789感谢分享(1)导出到本地文件系统hive>INSERTOVERWRITELOCALDIRECTORY'/home/hadoop/output'ROWFORMATDELIMITEDFIELDSTERMINATE...
java 实现 Hive 数据导入到 mysql
weixin_44455388的博客
10-23 4672
参考地址: https://blog.csdn.net/lizhihaoweiwei/article/details/77770887 代码开源地址: https://github.com/juniorfans/hiveToMysql/blob/master/HiveToMysql.java
Hive导入数据的四种方式
hyj
07-22 1万+
Hive导入数据的四种方式 2、HDFS上导入数据到Hive表 先将文件从本地导入到hdfs上 注意： (1)是移动不是复制，hdfs中的teacher2.txt移动走了。 (2)如果有多个文件可以：load data inpath '/input/*' into table teacher; 3、从别的表中查询出相应的数据并导入到Hi...
postgresql导入数据到hive
IKnowNothinglee的博客
05-23 3311
整张表导入 在linux环境中运行： [root@dthost27 ~]# sqoop import --connect jdbc:postgresql://192.168.xxx.xxx:5432/pgsql_db --username user11 --password 123456 --table pgsql_table11 --hive-import --hive-database ...
Hive数据导入到HBase
xiaohu21的博客
10-27 4770
Hive数据导入到HBase 1. 背景 作为一个数据处理框架，hive本身并不计算和存储数据，计算引擎一般是mapreduce，tez，spark，数据存储则是在hdfs中，元数据一般在mysql中。 hive将数据计算处理之后，如果数据结果需要对外提供并且有秒或亚秒级别的访问速度，并且跟hadoop生态有较好的兼容性，则hbase是一个很好的选择。当然实际上只是数据存储，mysql，elasticsearch，clickhouse都可以胜任亚秒级别的数据访问性能。 当业务需要，将hive数据导入hba
Hive中的数据导入到MySQL
aizhenshi的博客
10-09 1万+
需求有一些特殊的场景,需要将Hive中的结构化数据表的数据导入到MySQL中.如果是使用HiveContext去导的话,需要编写代码,然后提交jar包,比较麻烦.可以直接使用Sqoop组件将Hive的数据导入到MySQL中.Sqoop的安装和使用在这里不再赘述了.1.Hive表创建的Hive表及其定义的字段如下:create external table behavior1( city string
Hive数据导入HBase
q79969786的专栏
11-22 1万+
在Hive创建数据保存在HBase的表方式，这种方法的特点是简单，但是数据量超过千万以后 ，数据偏移现象比较明显，效率不高 在定义Hive的UDF，将数据写入HBase，如果提前将HBase表的regen分好，这种直接put的方法效率还行 直接用MapReduce生成Hfile，然后导入HBase，这种方法的特点是程序步奏很多，但是效率高，每分钟轻松能到3000万数据
关于Java程序向Hive导入数据的问题解决方法
HogwartsRow
04-26 750
解决方法： 1、使用Linux命令，如下： String tmpFile = "/tmp" + File.separator + TableUtil.TABLE_PREFIX_MAILING_MEMBER + "@" + mailListId + ".log"; String scp_command = String.format("scp %s x.x.x.x:%s", fileK...
JAVA拉取Hive的数据导入到MySQL中
dontlikerabbit的博客
04-22 1069
1.pom文件需要的依赖 <!-- https://mvnrepository.com/artifact/org.mybatis/mybatis --> <dependency> <groupId>org.mybatis</groupId> <artifactId>mybatis</artifactId> <version>3.4.6</version> .
java jdbc 操作 hive 建表 load 数据
02-25 677
// 需要引入 hadoop & hive jar import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.Statement; /** * 演示了通过java jdbc 操作hive ...
导入数据到Hive表中的常用四大方式
bijack的博客
09-08 1999
查阅资料发现大家往表中添加数据多少有误,在此献上常用的导入方式 1.从本地系统向hive表添加数据 : load data local inpath "filePath" into table 表名 ; 本质上执行一条: hdfs dfs -put 本地路径 hdfs对应数据表放置的路径(表加载路径下) 2.从hdfs向hive表添加数据: ...
Java API实现向Hive批量导入数据
kw-home
12-27 2万+
Java程序中产生的数据，如果导入oracle或者mysql库，可以通过jdbc连接insert批量操作完成，但是当前版本的hive并不支持批量insert操作，因为需要先将结果数据写入hdfs文件，然后插入Hive表中。 package com.enn.idcard; import java.io.IOException; import java.sql.Connection; import
Java代码实现对hive的基本操作
热门推荐
leanaoo的博客
10-26 2万+
1.导入jar包 确保你的Zookeeper,Hadoop集群和hive启动着 在eclipse上新建java项目,并在项目下建个lib文件夹,然后将jar包放到lib中导入项目 hive的lib下的 将其全部导入到项目中 2.测试 在你要测试的hive的主机的/usr/tmp建个student文件,里面放入一些数据 数据列间使用一个\table(制表符)隔开 1 lilei 2 hanm...
把本地文件上传到远程服务器,在hive中创建表并导入数据
LYY1045691954的博客
11-17 1277
文章目录一、scp命令上传文件/文件夹二、macOS登录远程服务器三、进入hive窗口四、hive中创建表五、向创建表中导入txt文件 一、scp命令上传文件/文件夹 可以选择： 上传一个文件： scp -r /path/filename username@servername:/path 上传一个文件夹： scp -r /path/folder username@servername:/path 打开一个文件夹遍历上传里面所有文件： scp -r /path/folder/* user
hive mysql 实战_Hive 实战(1)--hive数据导入/导出基础
weixin_42139302的博客
02-01 185
前沿:Hive也采用类SQL的语法, 但其作为数据仓库, 与面向OLTP的传统关系型数据库(Mysql/Oracle)有着天然的差别. 它用于离线的数据计算分析, 而不追求高并发/低延时的应用场景. 最显著的特别是, Hive的数据是Schema On Read, 对数据的写入非常的自由和松散, 而对数据的读取则作了各种限制. 而RMDBS则是Schema On Write, 对数据写入限制非常的...
java 批量插入hive中转在HDFS
Andychau2015的博客
06-28 2423
Java API实现向Hive批量导入数据 原文地址：https://blog.csdn.net/kangkangwanwan/article/details/78915134 博主：盛装吾步 稍微修改了下，这文章是通过将数据存盘后，加载到HIVE. 模拟数据放到HDFS然后加载到HIVE，请大家记得添加HIVE JDBC依赖否则会报错。 加载前的数据表最好用外部表，否则会drop表的时候元数据会...
java 导出 hive数据,Hive导入和导出数据
weixin_35944439的博客
03-13 502
hive默认的字符编码是utf8格式，所以用utf8模式存储的数据都是可以正常显示的，如果用ssh客户端工具查看时仍是乱码，这可能是你的hive官方提供两种导入数据的方式1 从表中导入：insert overwrite table testselect * from test2;2 从文件导入：2.1 从本地文件导入：load data local inpath '/Hadoop/aa.txt' ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

necesse

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值