【spark】五 RDD、DataFrame.write 存储API的使用与区别

最新推荐文章于 2026-06-24 15:27:30 发布
原创 最新推荐文章于 2026-06-24 15:27:30 发布 · 8.1k 阅读 · 7
本文详细介绍了PySpark中RDD和DataFrame的保存方法，包括各种存储API的使用及区别，如saveAsHadoopDataset、saveAsNewAPIHadoopFile、saveAsPickleFile、saveAsTextFile等RDD方法，以及DataFrame的writer对象的各种save方式，如csv、json、orc、parquet等。同时，讨论了不同存储格式和模式的选择，如overwrite、append等。

主要翻译自 官网 pyspark 2.3.1 文档
https://spark.apache.org/docs/2.3.1/api/python/pyspark.html#pyspark.RDD

一 pyspark.RDD 保存hdfs文件

①saveAsHadoopDataset(conf, keyConverter=None, valueConverter=None)

输入RDD[(K,V)]形式数据，使用老的hadoop API接口存储在hdfs上数据；
内容需要被convert转化，默认转化器是 org.apache.spark.api.python.JavaToWritableConverter；

②saveAsHadoopFile(path, outputFormatClass, keyClass=None, valueClass=None, keyConverter=None, valueConverter=None, conf=None, compressionCodecClass=None)

输入RDD[(K,V)]形式数据，使用老的hadoop API接口存储在hdfs上数据；
不同于上面的是可以自行推断数据类型进行转换，也可以指定压缩模式；

最低0.47元/天 解锁文章
SparkCore系列-8、RDD 读写外部数据源
不积跬步无以至千里，不积小流无以成江河
07-29 566
SparkCore系列-8、RDD 读写外部数据源
Spark Dataset write to database的并发控制
weixin_40455124的博客
07-16 1095
Spark 3 使用如下代码 df3.write().mode(SaveMode.Append).jdbc(url, "wordcount", dBWriteConOption2); 写入数据库的时候，spark实际认为是一个shuffle操作，因此可以通过参数 spark.sql.shuffle.partitions 来进行控制，如下面的代码 SparkConf sparkConf = new SparkConf().setAppName("JavaSparkJDBCSQL-REMOTE"); sp
spark-使用DataFrameWriter或者spark-sql向hive分区表中插入数据
DCHAO的博客
09-15 5310
saveAsTable 在此方法中，如果数据源表存在于Spark-catalog中，则使用save方法参数中的模式来确定如何插入。如果表不在Spark-catalog中，我们总是会覆盖它（比如JDBC数据源中的一个表），因为spark可以整合hive，所以hive中的表在Spark-catalog中，但比如spark创建的临时表，就不在Spark-catalog中。如果表在Spark-catalog中，则追加。 如果df根据一个没分区的 hive表创建，并且可以转换为hive内置的序列化器（比如ORC和P
告别电脑！用这5款手机App就能搞定安卓自动化（Auto.js、Hamibot、冰狐...）
weixin_30723433的博客
05-01 317
本文介绍了5款手机端安卓自动化工具（Auto.js、Hamibot、冰狐等），帮助用户无需电脑即可实现自动化任务。这些工具具有即时性、便携性和低门槛等优势，适用于电商运营、社交媒体管理及个人效率提升等场景。通过详细评测和实战指南，读者可以快速选择并掌握最适合的移动端自动化解决方案。
040 DataFrame中的write与read编程
weixin_34166472的博客
04-27 459
一：SparkSQL支持的外部数据源 1.支持情况 　　   2.External LIbraries 　　不是内嵌的，看起来不支持。 　　但是现在已经有很多开源插件，可以进行支持。   3.参考材料 ·　　支持的格式：https://github.com/databricks   二：准备 1.启动服务 　　RunJar是metastore服务，在hive那边开启。 　　只需要启动三个服务就可以...
Spark Shuffle之Write 和 Read
zp17834994071的博客
08-09 7673
前面已经和大家提到过Shuffle的具体流程和运用场景，也提到过通常shuffle分为两部分： Map阶段的数据准备和Reduce阶段的数据拷贝处理。 Shuffle Write理解： 提供数据的一端，被称作 Map 端，Map 端每个生成数据的任务称为Mapper；将在map端的Shuffle称之为Shuffle Write。 Shuffle Read理解： 接收数据的一端，被称作 Reduce 端，Reduce 端每个拉取数据的任务称为 Reducer；将在Reduce端的Shuffle称之为Shuff
Spark核心知识点和面试高频考点
qq_37771475的博客
05-10 614
Apache Spark 是一个开源的统一分布式计算引擎，它以内存计算为核心，提供了 Java、Scala、Python、R 等高级 API，并提供以下功能：Spark Core（核心基础）：负责分布式任务调度、内存管理、容错、存储交互等基础功能。它引入了 RDD（弹性分布式数据集） 这一核心抽象，是所有其他组件的基石。Spark SQL（结构化数据处理）：用于处理结构化与半结构化数据，提供了DataFrame、Dataset，以及SQL查询引擎。底层也是基于RDD进行了封装优化。Spark Streami
大数据实时阶段----【Spark03之dataFrame、dataSet、schema】
CoderBoom的博客
12-04 1489
spark_入门03学习笔记 1、目标 1、掌握sparksql底层原理 2、掌握DataFrame和DataSet数据结构和使用方式 3、掌握通过sparksql来进行代码开发 2、sparksql概述 2.1 sparksql前世今生 shark它是专门为spark设计的大规模数据仓库系统 shark依赖于hive的代码，同时也依赖spark版本 后期发现hive的mapre...
Spark（Python）学习（五）
雨山林稀的博客
07-19 1439
Spark SQL: 1.Hive and Shark;2.DataFrame;3.DataFrame的创建;4.DataFrame常用操作;5.RDD转换得到DataFrame;6.Spark SQL读写数据库.
Spark工具选型实战指南：场景驱动的API分层决策
diaolouan9546的博客
06-12 353
Apache Spark不是单一工具，而是基于统一计算引擎的多层API体系——从底层RDD、中层DataFrame/Dataset，到上层Spark SQL与Structured Streaming。其核心原理在于Catalyst优化器与Tungsten执行引擎对结构化数据的自动优化，技术价值体现在开发效率、类型安全与资源可控性的动态平衡。典型应用场景包括ETL清洗、实时告警、机器学习特征工程及即席查询分析。实际选型必须回归数据Schema稳定性、团队语言栈（PySpark/Scala）、计算模式（批/流）
Spark的认识（三）
Token
03-14 592
Spark的认识（三） 1、本文内容 1、掌握sparkSQL原理 2、掌握DataFrame和DataSet数据结构和使用方式 3、掌握sparksql代码开发 2、sparksql概述 2.1 sparksql前世今生 shark是专门为spark设计的大数据仓库系统 shark与hive代码兼容，同时它也依赖于spark的版本 后期...
Spark（十二）SparkSQL简单使用
dengshuabi6933的博客
07-15 328
一、SparkSQL的进化之路 1.0以前： Shark 1.1.x开始：SparkSQL(只是测试性的) SQL 1.3.x: SparkSQL(正式版本)+Dataframe 1.5.x: SparkSQL 钨丝计划 1.6.x： SparkSQL+DataFrame+DataSet(测试版本) 2.x: ...
从Hadoop到Spark：大数据描述性分析的平台对比
AI架构师小马
02-23 729
术语定义描述性分析用统计指标（均值、中位数、频率、占比）总结数据特征的分析方法，是大数据分析的“第一步”。Hadoop生态以HDFS（分布式存储）和MapReduce（分布式计算）为核心的大数据基础架构，包含Hive（SQL引擎）、Pig（脚本引擎）等工具。Spark生态以RDD（弹性分布式数据集）为核心的内存计算引擎，包含Spark SQL（结构化查询）、DataFrame（结构化数据）等组件，常依赖HDFS存储数据。从Hadoop到Spark，工具在变，但描述性分析的本质没变。
Spark加速机器学习：从单机瓶颈到分布式工程化实践
chudan0503的博客
06-14 423
机器学习项目在数据规模突破千万行、特征维数超万后，常遭遇单机Pandas+Scikit-learn流水线响应迟缓、内存溢出与迭代周期拉长等典型瓶颈。其本质是计算范式与数据生命周期的错配：传统方案依赖内存驻留与显式落盘，而Spark通过惰性求值、列式执行与统一DataFrame抽象，实现跨节点内存共享式迭代和大规模稀疏特征处理。该技术路径不仅提升吞吐效率，更支撑可复现Pipeline、ACID特征存储与跨语言模型部署，成为金融风控、电商推荐等高要求场景下ML工程化的基础设施。本文聚焦Spark MLlib与s
Spark SQL 相关
遥望......
08-28 679
Spark SQL的简介 1. 简介 Spark SQL是用于处理结构化数据的模块。与Spark RDD不同的是，Spark SQL提供数据的结构信息(源数据)和性能更好，可以通过SQL和DataSet API与Spark SQL进行交互。 2. 特点 2.1 Spark程序和SQL可以无缝对接 2.2 统一数据访问：使用相同方式链接到数据 2.3 集成hive：在hive数据仓库中可...
Spark Word Count深度解析：从单机HashMap到分布式DAG
weixin_34293141的博客
06-21 358
Word Count是理解分布式计算范式的经典入口，其本质远超单词统计——它揭示了数据分片、惰性求值、Shuffle机制与容错血缘等核心原理。作为Apache Spark的‘Hello World’，它承载着RDD抽象、DAG执行图和Tungsten优化引擎的技术价值，广泛应用于日志分析、实时流处理与数仓ETL等生产场景。通过对比单机Java实现与Spark分布式实现，可清晰把握从本地内存计算到集群协同调度的关键跃迁。本文聚焦Spark Java API下的Word Count实践，深入解析reduceBy
Pandas迁移到PySpark：5大认知断层与平滑迁移实战指南
最新发布
weixin_33738578的博客
06-24 371
在大数据处理场景中，Pandas作为单机内存分析工具，面临数据规模扩大后的性能瓶颈与内存溢出问题；PySpark则依托分布式计算引擎与惰性求值机制，天然支持TB级数据的高效处理。其核心价值在于将Pandas熟悉的DataFrame语义映射到集群执行环境，实现开发效率与扩展能力的统一。典型应用场景包括超大CSV/Parquet文件分析、高并发ETL流水线构建、以及需要与Hadoop生态（如S3、Delta Lake）集成的数据工程任务。本文聚焦Pandas用户真实迁移过程中的关键挑战——索引缺失、空值语义差异
Spark加速机器学习：从单机瓶颈到分布式MLOps实战
xSTARx
06-14 596
机器学习项目在数据规模增长后常遭遇单机计算瓶颈，特征工程卡顿、模型训练缓慢、上线延迟高等问题频发。其本质是传统Pandas+Scikit-learn栈缺乏分布式可扩展性与生产级工程保障。Apache Spark凭借统一的DataFrame API、容错DAG调度、内置ML Pipeline抽象及Delta Lake/MLflow深度集成，提供了从数据加载、并行特征处理、分布式超参搜索到模型服务化的端到端加速能力。尤其在TB级日志窗口统计、高基数类别编码、实时批流一体推理等典型场景中，Spark展现出线性扩展
Spark Java版WordCount实战：从pom.xml到JVM调优的全链路解析
weixin_30632883的博客
06-20 365
Word Count作为分布式计算的入门范式，本质是理解RDD、Shuffle与序列化机制的实践入口。其底层依托JVM内存模型与Java编译生态，涉及Scala二进制兼容性、Hadoop客户端集成、Lombok注解处理等关键环节。技术价值在于以轻量任务暴露集群环境一致性（如JDK版本对齐）、资源调度瓶颈（Executor内存与GC行为）及构建链路风险（Maven依赖冲突）。典型应用场景覆盖本地调试、YARN生产验证与面试能力评估，尤其适用于Java工程师切入大数据工程——本文聚焦Spark 3.5+与JDK
Delta Lake实战指南：解决Spark数据湖ACID、Schema演进与时间回溯难题
weixin_34049948的博客
06-23 374
Delta Lake是构建可靠大数据湖的核心组件，它将传统数据库的ACID事务能力无缝引入基于Parquet和S3/HDFS的数据湖架构。其核心原理是在不改变底层存储格式的前提下，通过轻量级事务日志（DeltaLog）实现原子写入、并发控制与强一致性保障。技术价值体现在显著降低数据不一致风险、支持无停服模式演进、提供毫秒级时间旅行能力，并与Spark深度集成，零代码改造即可升级现有Pipeline。典型应用场景包括湖仓一体平台建设、实时数仓分层（Medallion）、订单/用户行为等高并发写入场景，以及需要
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值