StructType can not accept object %r in type %s" % (obj, type(obj)))

最新推荐文章于 2022-10-23 01:01:04 发布

原创最新推荐文章于 2022-10-23 01:01:04 发布 · 4.1k 阅读

1 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

python

当前文章被收录于：

python

4 篇文章 0 人学习

订阅专栏查看详情

pyspark

当前文章被收录于：

pyspark

2 篇文章 0 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

本文记录了解决在Spark中将string类型数据转换为RDD时遇到的错误“StructType cannot accept object type”的过程及解决方案。通过调整parallelize的输入方式，成功避免了类型不匹配的异常。

开发板推荐：天空星STM32F407VET6开发板

超高性价比 STM32主控 | 超高主频 | 一板兼容百芯 | 比赛神器 | 沉金彩色丝印

点击查看

在将string类型的数据类型转换为spark rdd时，一直报这个错，StructType can not accept object %r in type %s” % (obj, type(obj)))

.
.
.
s = str(tree)

y = str(YESTERDAY)

list0 = [s, y]

outRes = self.sc.parallelize(list0)

df_tree = outRes.toDF("model: string, dt: string").registerTempTable("temp")
.
.
.

查了半天的资料，问了不少同事都没能解决掉这个bug。最后终于google到一个类似的case，终于把问题解决。记录一下！

.
.
.
s = str(tree)

y = str(YESTERDAY)

list0 = [s, y]

outRes = self.sc.parallelize([list0])

df_tree = outRes.toDF("model: string, dt: string").registerTempTable("temp")
.
.
.

上面的问题办法是，将sc.parallelize([list0])中的list0再转成一个整体list，问题即可解决。

开发板推荐：天空星STM32F407VET6开发板

超高性价比 STM32主控 | 超高主频 | 一板兼容百芯 | 比赛神器 | 沉金彩色丝印

点击查看