Hive 或 Impala 的数据类型与对应底层的 Parquet schema的数据类型不兼容

最新推荐文章于 2026-06-11 09:09:49 发布

原创最新推荐文章于 2026-06-11 09:09:49 发布 · 1.3w 阅读

4 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

Hive

Impala

Parquet

本文介绍在Hive中更改表字段数据类型后遇到的与Parquet文件格式不兼容的问题，特别是从String到Double的变化，并提供了解决方案。

背景：修改了hive表的某些字段的数据类型，如从String -> Double ，此时，该表所对应的底层文件格式为Parquet，修改之后，更新Impala索引，然后查询修改数据类型的字段，会出现与Parquet schema 列数据类型不兼容的问题。

如： Impala ——

正在提取遇到以下错误的结果：

Bad status for request TFetchResultsReq(fetchType=0, operationHandle=TOperationHandle(hasResultSet=True, modifiedRowCount=None, operationType=0, operationId=THandleIdentifier(secret='D\x11\x18]\xf7\xa2E*\x8f\x99Ky\x9c\xc8\xda>', guid='D\x11\x18]\xf7\xa2E*\x8f\x99Ky\x9c\xc8\xda>')), orientation=4, maxRows=100): TFetchResultsResp(status=TStatus(errorCode=None, errorMessage="File 'hdfs://xxx:8020/user/hdfs/test/0f399649-1e1d-444b-9d71-24c8db0ac7f3.parquet' has an incompatible Parquet schema for column 'default.test.yyy'. Column type: DOUBLE, Parquet schema:\noptional byte_array QTY [i:30 d:1 r:0]\n", sqlState='HY000', infoMessages=None, statusCode=3), results=None, hasMoreRows=None)

查看其中错误信息：

errorMessage="File 'hdfs://xxx:8020/user/hdfs/test/0f399649-1e1d-444b-9d71-24c8db0ac7f3.parquet' has an incompatible Parquet schema for column 'default.test.yyy'. Column type: DOUBLE, Parquet schema:\noptional byte_array QTY [i:30 d:1 r:0]\n"

对应Hive类似，解决方法，参考：

1. http://stackoverflow.com/questions/36085891/hive-doesnt-change-parquet-schema

2. https://issues.cloudera.org/browse/IMPALA-779