[shell]编写shell脚本实现自动保存hive查询结果到本地

最新推荐文章于 2024-01-21 20:22:18 发布
原创 最新推荐文章于 2024-01-21 20:22:18 发布 · 3.9w 阅读 · 4 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
收录于
shell

当前文章被收录于：

shell
4 篇文章 0 人学习
订阅专栏 查看详情 
dir="/user/tmp/yang"
sql="insert overwrite directory '${dir}' row format delimited by '\t' $1"
echo "${sql}" #查看sql语句是否有误

filename="000000_0"
localaddr="/home/yang"
hadoop fs -cat ${dir}/${filename} >${localaddr}/result.txt

sz ${localadrr}/result.txt
echo "success!"

 

Windows 10/11 上保姆级安装Nessus 10.7.1，附离线激活与插件加载避坑指南
weixin_30562507的博客
05-03 874
本文提供Windows 10/11系统上Nessus 10.7.1的保姆级安装指南，涵盖离线激活与插件加载的详细步骤与避坑技巧。从环境准备、安装路径优化到离线激活流程，再到插件下载加速方案，帮助用户顺利完成部署并解决常见问题，提升漏洞扫描工具的使用效率。
Shell脚本执行Hive语句
dajuezhao的专栏
07-29 1万+
一、环境 1、Hadoop 0.20.2 2、Hive 0.5 3、操作系统 Linux m131 2.6.9-78.8AXS2smp #1 SMP Tue Dec 16 02:42:55 EST 2008 x86_64 x86_64 x86_64 GNU/Linux 二、步骤 1、直接贴上脚本吧 #!/bin/bash #give the params: name value tablename if [ $# -eq 3 ] then name=
shell mysql 输出到文件,把mysql查询结果保存到文件的shell脚本
weixin_36288992的博客
03-27 2684
把mysql查询结果保存到文件的shell脚本该脚本是先删除已经存在的文件，然后后台执行SQL语句将其执行结果以一定的格式写入文件复制代码 代码如下:#!/bin/bashif [ -f "/var/lib/mysql/hell.txt" ]; thenrm -f /var/lib/mysql/hell.txtecho "delete /var/lib/mysql/hell.txt" >&g...
linux重定向：在shell脚本中固定周期执行命令并将输出信息自动输出到文件中保存
jinking01的专栏
12-28 1万+
0. Shell脚本中，变量名和等号之间不能有空格！！！ 1. 按固定周期执行命令：  while true do    cmd(shell 命令)    sleep x(x为秒数) done n=0; while(($n<=100)); do top -n 1; n=$((n + 1)); sleep 10; done 2.获取当前时间 date "+%Y-%m-%d %...
将shell指令结果保存到变量中的两种方法
craftsman2020的博客
05-29 9961
shell指令结果保存到变量中 文章目录1. 方法一： 反引号2. 方法二：使用 $()3. 注意事项4. 再谈反引号和 $() 1. 方法一： 反引号 #!/bin/bash a=`ls -l; pwd; date;` echo "$a" b=`ls -l pwd date` echo "$b" 2. 方法二：使用 $() #!/bin/bash a=$(ls -l) echo "$a" 3. 注意事项 默认情况只会将标准输出保存到变量中，如果需要加异常结果也保存到变量，需要加 2&gt
shell命令执行hive脚本（hive交互，hive的shell编程）
weixin_30587927的博客
01-19 3462
Hive执行方式 Hive的hql命令执行方式有三种： 1、CLI 方式直接执行 2、作为字符串通过shell调用hive –e执行（-S开启静默，去掉”OK”，”Time taken”） 3、作为独立文件，通过shell调用 hive –f或hive –i执行执行 方式1 键入“hive”，启动hive的cli交互模式。Set可以查看所有环境设置参数，并可以...
Hive_Hive查询结果导出的几种方式
热门推荐
迎难而上
07-03 2万+
我们经常利用Hive完成一些数据报表统计的需求，此时我们在特定场景中需要对Hive查询的结果做导出，这样就延伸出了几种查询结果导出的方法，我们这里做一下总结。1.利用beeline 执行查询，将输出重定向的方式2.利用insert overwrite 的方式，将查询结果导出hdfs或者本地第一步我们看下主体的查询语句：use default; SELECT media_info.med...
使用shell脚本执行hive查询并将结果输出到本地文件
紫枫丶羽的博客
07-20 4334
简单实用的脚本分享。 关于hive命令的3种调用方式: （1）hive –f file.sql（适合多语句） （2）hive-e 'sql语句'（适合短语句） （3）hive（直接使用hive交互式模式） 方式一： 1.准备hive查询语句 //创建文本文件 touch read.sql //加入要执行的hive查询语句，例： show databases; show tables; use default; select * from test01; 2.执行并查看结果 ...
shell获取hive查询数据结果_在shell中判断hive查询记录数大小
weixin_40009026的博客
12-21 2734
用途： 根据查询到结果数量来判断，是否需要再执行下个脚本。1. 查询语句script.q脚本如下：select count(1) as count from test;2. shell脚本如下：这里注意hive语句需要包裹在``(左上角~按键)里面，然后可以把输出的结果赋值给一个变量。#!/bin/shcount=`beeline --silent=true --outputformat=csv2...
shell获取hive查询数据结果_如何使用Shell脚本将HiveQL查询的结果输出到CSV？
weixin_39833270的博客
12-21 1431
I would like to run multiple Hive queries, preferably in parallel rather than sequentially, and store the output of each query into a csv file. For example, query1 output in csv1, query2 output in csv...
如何将hive命令执行结果赋值给shell变量和将一个shell脚本的变量赋值给另一个shell脚本
fuyun6363的博客
02-17 6657
最近遇到把sas代码翻译成hive代码中发现这样一个问题，在sas代码中总是很多重复代码：从指标表中读取指标代码，如果指标代码在表中则执行此程序，不在则不执行。sas中有if和goto语句进行判断，但hive中并没有这样的语法。 以前用的方法是将ETL的表和指标表进行join，on的条件为1=1（因为指标表和ETL的表没有关联字段），再在where条件加上指标表输出的字段is not null的语...
shell获取hive查询数据结果_利用shell脚本设置hive查询语句中的变量
weixin_39793105的博客
01-30 3146
在shell脚本中设置的变量，可以通过hive -e直接使用，例如：#!/bin/bashtablename="student" #等号左右不能有空格varsubject="Math"hive -e "SELECT *FROM ${tablename}WHERE subjects = ${varsubject};"方法总结为：在shell脚本中添加变量使用hive -e模式，在查询语句字符串中插入...
shell命令执行hive脚本
weixin_74292291的博客
01-21 1833
shell命令执行hive脚本，Hive的hql命令的四种执行方式
Hive执行方式及结合shell脚本
weixin_34414196的博客
01-21 3825
2019独角兽企业重金招聘Python工程师标准>>> ...
Hive-shell脚本形式执行HSQL
hjw199089的博客
01-04 3442
Hive-脚本形式提交hive查询 接上文Mac-单机Hive安装与测试,文中最后将本地文件load到了hive 表中，下面对该表清洗，以shell脚本形式提交，清洗所用的HSQL脚本。 建立目标表 例如要清洗出的字段如下表 use hive_test; CREATE EXTERNAL TABLE fact_XXX_log( time_stamp string COMMEN
shell获取hive查询数据结果_使用shell+awk完成Hive查询结果格式化输出
weixin_39762856的博客
12-21 947
好久不写，一方面是工作原因，有些东西没发直接发，另外的也是习惯给丢了，内因所致。今天是个好日子，走起！btw，实际上这种格式化输出应该不只限于某一种需求，差不多是通用的。需求：--基本的：当前Hive查询结果存在数据与表头无法对其的情况，不便于监控人员直接查看，或者导出到excel中，需要提供一个脚本，将查询结果处理下，便于后续的查看或者操作。--额外的：A、每次查询出来的结果字段数、字段长度不固...
在shell中判断hive查询记录数大小
maenlai0086的博客
07-16 1773
用途： 根据查询到结果数量来判断，是否需要再执行下个脚本。 1. 查询语句script.q脚本如下： select count(1) as count from test; 2. shell脚本如下： 这里注意hive语句需要包裹在``（左上角~按键）里面，然后可以把输出的结果赋值给一个变量。 #!/bin/sh count=`beeline --silent=true --o...
shell获取hive查询数据结果,如何使用Shell脚本将HiveQL查询的结果输出到CSV？
weixin_39565910的博客
12-21 633
I would like to run multiple Hive queries, preferably in parallel rather than sequentially, and store the output of each query into a csv file. For example, query1 output in csv1, query2 output in csv...
shell脚本编写循环hive sql
weixin_42474635的博客
12-12 1802
循环里日期判断 if [ $# -eq 1 ]; then n_date=`date -d "$1" +"%Y-%m-%d"` else n_date=`date -d " -1 days" +"%Y-%m-%d"` fi t_date=`date -d "${n_date} -6 days" +"%Y-%m-%d"` until [ $t_date == $n_date ]...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值