目录
一、背景
DATAX 从hive同步数据到pg报错
二、报错内容
Description:[不支持的数据库类型. 请注意查看 DataX 已经支持的数据库类型以及数据库版本.]. - 您的配置文件中的列配置信息有误. 因为DataX 不支持数据库写入这种字段类型. 字段名:[xx], 字段类型:[1111], 字段Java类型:[jsonb]. 请修改表中该字段的类型或者不同步该字段.
三、定位原因
从报错信息中可知是source端出了问题,赶紧检查了一下表结构字段类型,发现hive端该字段类型为STRING,pg端字段类型为jsonb,正常不应该出现问题的啊。可能是字段内容中包含什么中文或特殊字符导致的。
四、解决方案
在字段上拼接空串就能解决了
select case when 字段名 is not null then concat(字段名,'')
else 字段名
end
执行成功

文章描述了在使用DATAX从Hive同步数据到PG时遇到的不支持数据库类型的错误,具体表现为Hive字段为STRING,PG字段为jsonb。错误原因可能涉及字段内容中的中文或特殊字符。解决方案是通过在字段上拼接空串来解决此问题,使用SQL的CASEWHEN语句进行转换。
850

被折叠的 条评论
为什么被折叠?



