第三章 dolphinscheduler基础使用之数据源配置(包括hive,spark,mysql,oracle)

本文详细介绍了Hive和Spark的数据源配置步骤,包括Hive的多用户配置、服务启动、WEB端口访问及常见问题排查;Spark Thrift Server的启动参数设置和连接方法;同时涉及MySQL和Oracle数据库的服务启动与连接配置。

1、hive数据源配置

(1)hive的多用户配置

hive本身不创建用户,用户就是linux的用户,

(2)打开hive的server服务

  • 第一步:运行hive下bin/hiveserver2脚本
./hiveserver2 

在这里插入图片描述

  • 第二步:新建xshell窗口
beeline

# 2、连接hive2
!connect jdbc:hive2://192.168.6.102:10000

# 3、输入用户名和密码
Enter username for jdbc:hive2://192.168.6.102:10000: atguigu
Enter password for jdbc:hive2://192.168.6.102:10000: ******

在这里插入图片描述

  • 第三步:打开hive的WEB端
hadoop102:10002

在这里插入图片描述

(3)海豚调度器创建资源
在这里插入图片描述

(3)常见问题

在这里插入图片描述

  • 问题原因
# 1、检查hiveserver是否启动
netstat -anp |grep 10000
  • 解决方式
启动hiveserver2

2、Spark数据源配置

(1)启动Spark thritfserver

sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=10001 --master yarn --driver-cores 1 --driver-memory 1G --executor-cores 1 --executor-memory 1G -num-executors 2
  • 运行结果如下

在这里插入图片描述

(2)连接数据源

在这里插入图片描述

3、mysql数据源配置

(1)开启mysql服务

sudo systemctl start mysqld
  • 运行结果
    在这里插入图片描述
    (2)连接数据源

在这里插入图片描述

4、Oracle数据源配置

(1)将Oracle的ojdbc5.jar和ojdbc6.jar拷贝到lib目录

  • 注意:本机版版本为oracle11g
    在这里插入图片描述

(2)连接Oracle数据源

在这里插入图片描述

Apache DolphinScheduler是一个新一代分布式大数据工作流任务调度系统,致力于“解决大数据任务之间错综复杂的依赖关系,整个数据处理开箱即用”。它以 DAG(有向无环图) 的方式将任务连接起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及 Kill任务等操作。目前已经有像IBM、腾讯、美团、360等400多家公司生产上使用。 调度系统现在市面上的调度系统那么多,比如老牌的Airflow, Oozie,Kettle,xxl-job ,Spring Batch等等, 为什么要选DolphinSchedulerDolphinScheduler 的定位是大数据工作流调度。通过把大数据和工作流做了重点标注. 从而可以知道DolphinScheduler的定位是针对于大数据体系。DolphinScheduler 发展很快 很多公司调度都切换到了DolphinScheduler,掌握DolphinScheduler调度使用势在必行,抓住新技术机遇,为跳巢涨薪做好准备。 优秀的框架都是有大师级别的人写出来的,包含了很多设计思想和技术。DolphinScheduler也不例外,它是一个非常优秀的框架,用到很多技术和设计思想,本课程会带大家深入DolphinScheduler框架源码,包括设计的思想和技术都会讲解,DolphinScheduler源码很多,会按照模块进行讲解,学习完课程后,不仅可以熟悉DolphinScheduler使用,而且可以掌握很多优秀的设计思想和技术,给自己的技术带来很大提升,为跳巢涨薪做好准备。
评论 10
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

随缘清风殇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值