cdh版hue+oozie调度，部署后时区的修改

最新推荐文章于 2024-08-15 09:32:40 发布

原创最新推荐文章于 2024-08-15 09:32:40 发布 · 2.2k 阅读

4 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

hue

当前文章被收录于：

hue

2 篇文章 0 人学习

订阅专栏查看详情

oozie

当前文章被收录于：

oozie

2 篇文章 0 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

本文详细介绍了如何在Hue中修改时区设置为Asia/Chongqing，并在Oozie中将时区调整为GMT+0800。同时，文章还提到了在Oozie中修改oozie.action.max.output.data参数的具体数值。

1. hue修改时区
时区修改为: Asia/Chongqing
在这里插入图片描述

2. oozie修改时区
值为：
oozie.processing.timezone
GMT+0800
在这里插入图片描述
不过oozie修改这个参数之后，有个坑爹地方，那就是不能通过hue提交Bundle，会报以下错误，目前还没有解决这个问题。

Error submitting bundle My Bundle: E1310: Bundle Job submission Error: [E1301: Could not read the bundle job definition, [Could not parse [2018-11-12T11:23Z] using [yyyy-MM-dd'T'HH:mm+0800] mask]]

修改oozie.action.max.output.data参数
oozie.action.max.output.data
204800
在这里插入图片描述

标签

#hue+oozie

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

adshiye

关注关注

0
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Hue组件的安装部署及使用

写的不好之处,请指教

12-09

5910

一、 Apache Hue介绍 1、Hue是什么 HUE英文全称为Hadoop User Experience，是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于Python Web框架Django实现的通过使用Hue，可以在浏览器端的Web控制台上与Hadoop集群进行...

【Hadoop离线基础总结】oozie的安装部署与使用

关于我转生变成程序猿这档事

03-16

854

目录简单介绍概述架构安装部署1.修改core-site.xml2.上传oozie的安装包并解压3.解压hadooplibs到与oozie平行的目录4.创建libext目录，并拷贝依赖包到libext目录5.拷贝mysql的驱动包到libext目录下6.上传ext-2.2.zip压缩包到libext目录下7.修改oozie-site.xml8.创建mysql数据库9.上传oozie依赖的jar包到h...

参与评论您还未登录，请先登录后发表或查看评论

【Oozie】解决通过Hue界面提交Oozie Workflow和Coordinator时区问题的三个步骤

sinat_40431164的博客

12-11

1706

【问题一】Hue界面中显示提交Coordinator和Workflow的时间和真正的时间不匹配【背景】提交Coordinator的时候是下午五点，但是界面上显示的是凌晨1点，判断是时区问题【解决】打开Cloudera Manager的页面，打开Hue服务的页面，点击配置，搜索time会出现timezone的配置，将洛杉矶时区改成Asia/Shanghai 【注意】没有Asia/Beiji...

CDH页面中Oozie的调度告警邮箱设置

qq_43688472的博客

06-28

1007

CDH页面中Oozie的调度告警邮箱设置 1. 开启SLA 2. smtp设置 3. Hue中，对Workflow任务进行设置 4. 设置收件邮箱，结束时间可根据任务时长修改，其他可以默认 yyyy-MM-dd’T’HH:mm+0800 标定时间 2021-06-27T00:00+0800 5. 邮件通知内容 ...

utc 格式转正常格式 java_UTC 时间形式与一般时间格式转换

weixin_36252618的博客

02-17

521

package com.clean.a;import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.Date;import java.util.TimeZone;public class DateTest{public static void main(String[] args) throw...

Hue和Oozie时钟设置

weixin_38023225的博客

03-12

549

CDH安装hue,oozie.通过hue 创建oozie任务，提交任务运行的时间和hue上显示的时间会不同于系统当前时间。问题是由于oozie，hue时区与系统时区不同 1.修改oozie时区重启oozie服务 2.修改hue时区重启hue服务 ...

hadoop oozie_适用于Hadoop的Oozie工作流调度程序

cuxiong8996的博客

07-05

392

什么是Oozie？ Apache Oozie是基于Java™技术的开源项目，可简化创建工作流和管理作业之间协调的过程。原则上，Oozie提供了将多个作业依次组合为一个逻辑工作单元的功能。 Oozie框架的优点之一是，它与Apache Hadoop堆栈完全集成，并支持Apache MapReduce，Pig，Hive和Sqoop的Hadoop作业。此外，它还可用于计划特定于系统的作业，例...

cdh版hue+oozie调度，部署后时区的修改且解决Bundle异常问题

qq_30868737的博客

12-28

653

hue修改时区时区修改为: Asia/Chongqing oozie修改时区值为： oozie.processing.timezone GMT+0800 不过oozie修改这个参数之后，有个坑爹地方，那就是不能通过hue提交Bundle，会报以下错误，目前还没有解决这个问题。 Error submitting bundle My Bundle: E1310: Bundle Job submission Error: [E1301: Could not read the bundle job de.

教小白白Hue安装部署

百老讲数据

09-16

2437

大数据软件生涩的命令行和蹩脚的可视化界面，让许多孩子望而生畏通过使用Hue，可以在浏览器端的Web控制台上与Hadoop集群进行交互，来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job，执行Hive的SQL语句，浏览HBase数据库等等。

Oozie--安装部署

qq_46893497的博客

01-04

719

Oozie的部署1、上传解压2、配置Hadoop代理用户3、重启Hadoop集群4、解压lib包5、引入extjs6、修改oozie配置文件7、创建oozie元数据库8、初始化oozie为什么要将oozie的这些jar包放到hdfs上?9、生成web项目10、配置环境变量11、Oozie的启动与关闭12、修改界面默认时区参考： http://oozie.apache.org/docs/4.1.0/DG_QuickStart.html 1、上传解压以第一台机器为例使用filezila或者Secur

大数据相关组件介绍及安装部署

deathYTH的博客

12-06

404

一、 Apache Sqoop 1、sqoop介绍：Apache Sqoop是在Hadoop生态体系和RDBMS体系之间传送数据的一种工具。 Sqoop工作机制是将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。 Hadoop生态系统包括：HDFS、Hive、Hbase等 RDBMS体系包括：...

Azkaban学习笔记

最新发布

weixin_44247784的博客

08-15

898

尚硅谷azkaban学习笔记

oozie简介安装及使用

weixin_44067108的博客

02-02

541

Oozie介绍 Oozie英文翻译为：驯象人。一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache。提供对Hadoop MapReduce、Pig Jobs的任务调度与协调。所谓的功能简单来说就是讲各个功能串起来,一个执行完到下一个,与工厂中的流水线类似。 Oozie的功能模块分为三个模块 1.Workflow (各个流程的执行内容,将流程写入Workflow) 2.C...

Oozie的安装及使用

抓住人生的每一分每一秒，胜过虚度中的每一年每一月！！！

06-02

4164

Oozie的介绍 Oozie是运行在hadoop平台上的一种工作流调度引擎，它可以用来调度与管理hadoop任务，如，MapReduce、Pig等。 oozie的组件介绍 workFlow：工作流，定义工作流任务的执行，主要由一个个的action组成，每个action都是一个任务，在xml中进行配置即可 Coordinator：协作器，可以理解为工作流的协调器，可以将多个工作流协调成一个工作流来进行处理。也是oozie当中的定时任务调度的模块, Bundle：捆，束。多个Coordinat..

Oozie简单配置与使用

weixin_30649641的博客

12-29

274

1、Oozie英文翻译　　驯象人 2、Oozie简介　　一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache，提供对Hadoop Mapreduce、Pig Jobs的任务调度与协调。　　Oozie需要部署到Java Servlet容器中运行。 3、Oozie在集群中扮演的角色　　定时调度任务，多任务可以按照执行的逻辑顺序调度。 4、Oozie的功能...

CDH集群时区问题

迷失技术de小猪

01-08

3452

时区时区概念大家应该知道，地球上按照经纬度将地球划分为二十四个时区（东、西各12个时区），每两个相邻的时区间时间上相差1小时。标准时间概念 UTC是世界标准时间，指的是零时区（英国格林尼治天文台旧址）里的时间。中国时区中国所在的时区为东八区，所以中国的时间应该是UTC时间加上8个小时，即常见的UTC+8时间。 CDH集群上有很多组件默认都用的是UTC时间，所以使用中会出现时间的偏差。因此...

linux时区修改 CDH时间修改

qq_45143653的博客

05-06

941

Linux 时区不对的解决办法 1.首先查看时区： swfsadmin@swfsubuntu:~$ date -R Tue, 17 Dec 2013 18:23:01 +0800 如果要修改时区，执行sudo tzselect 2.选择区域：亚洲 swfsadmin@swfsubuntu:~$ sudo tzselect [sudo] password for swfsadmin: Sorry, try again. [sudo] password for swfsadmin: Plea

CDH平台Hue、Oozie、Impala时区问题

L, there!

08-18

1391

UTC是英国格林尼治天文台旧址零时区。中国时区是东八区，比UTC早8小时，是UTC+8。 CDH平台有些组件时区默认使用的UTC时间标准时间，工作中需要自己设置。配置完需要重启服务。 Hue Hue的默认时区是America/Los_Angeles，修改为Asia/Shanghai HUE -> 配置 -> 搜索 zone ->修改为 Asia/Shang...

安装CDH5.7.1集群

蘑菇丁的专栏

11-03

1500

Hadoop版本选择目前Hadoop比较流行的主要有2个版本，Apache和Cloudera版本。 Apache Hadoop：维护人员比较多，更新频率比较快，但是稳定性比较差。 Cloudera Hadoop（CDH）：CDH：Cloudera公司的发行版本，基于ApacheHadoop的二次开发，优化了组件兼容和交互接口、简化安装配置、增加Cloudera兼容特性。准备工作以...

oozie bundle学习笔记

weixin_30747253的博客

06-02

964

oozie已经用了一段时间，但是只用到coordinator级别，还没用过bundle，今天研究了一下，也可以参考oozie手册学习一下，地址：http://cs-achelous-client-15793.hadoop.jd.com:11000/oozie/docs/BundleFunctionalSpec.html 1、首先bundle是控制一个或者多个coordinator的工具，即一次可...