一、Sqoop 介绍
1. Sqoop:( SQL To Hadop )目的是完成关系型数据库导入导出到Hadoop
- Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、oracle...)之间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中
- Sqoop项目开始于2009年,最早是作为Hadoop的一个第三方模块存在,后来为了让使用者能够快速部署,也为了让开发人员能够更快速的迭代开发,Sqoop独立成为一个Apache项目
- S
本文介绍了Apache Sqoop,一个用于在Hadoop和关系型数据库之间进行数据传输的开源工具。 Sqoop将导入/导出操作转换为MapReduce任务,特别适合ETL操作。文中详细阐述了Sqoop的原理,并提供了详细的安装步骤,包括下载、解压、配置环境变量以及添加JDBC驱动。最后,文章提到了测试Sqoop连接MySQL数据库的方法。
订阅专栏 解锁全文
7442

被折叠的 条评论
为什么被折叠?



