大数据电商数仓--记录各种奇奇怪怪的issue

最新推荐文章于 2026-05-31 15:13:45 发布

原创

最新推荐文章于 2026-05-31 15:13:45 发布 · 1.4k 阅读

hive on spark报错：Failed to create Spark client for Spark session
hive格式化报错Error
hive执行sql语句报错：org.apache.hadoop.hdfs.BlockMissingException:Could not obtain block
hive启动报错：Name node is in safe mode.
远程连接长时间不用自动关闭报错：kernel:NMI watchdog: BUG: soft lockup - CPU#0 stuck for 22s! [java:25690]
hive执行SQL语句报错： Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
hive执行mr任务报错：FAILED: Execution Error, return code 2
hivesql编写出错：The 2nd argument of EQUAL OR GREATER THAN is expected to a primitive type, but struct is found
通过hdfs往MySQL导入数据报错：Application application_1634993702873_0004 failed 2 times due to AM Container for appattempt_1634993702873_0004_000002 exited with exitCode: -1000
Kylin启动报错

hive on spark报错：Failed to create Spark client for Spark session

⚠️报错：
hive on spark执行报错：
org.apache.hadoop.hive.ql.parse.SemanticException:Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create Spark client for Spark session 65727339-603a-4fca-9df2-2f9d30e4b4a5
在这里插入图片描述

✅解决方法：

报这个错误通常三个原因详情戳这里==>
but 今天这个难搞哦因为我看了log还是说我的hive和spark的连接超时，于是又将连接时间设置大了一些，还是不可以！！
直到看到这条==>
就是说将默认的HADOOP_HEAPSIZE打开并且改大一点：

[xiaobai@hadoop102 conf]$ vim hive-env.sh.template 
[xiaobai@hadoop102 conf]$ mv hive-env.sh.template hive-env.sh

在这里插入图片描述
成功解决！

hive格式化报错Error

⚠️报错：
hive格式化报错Error: Table ‘CTLGS’ already exists (state=42S01,code=1050)
Closing: 0: jdbc:mysql://hadoop102:3306/metastore?useSSL=false

[xiaobai@hadoop102 conf]$ pwd
/opt/module/hive/conf
[xiaobai@hadoop102 conf]$ schematool -initSchema -dbType mysql -verbose

如图：
在这里插入图片描述
✅解决方法：
drop掉metastore，重新格式化！

hive执行sql语句报错：org.apache.hadoop.hdfs.BlockMissingException:Could not obtain block

⚠️报错：
org.apache.hadoop.hdfs.BlockMissingException:Could not obtain block: BP-1094756810-192.168.10.102-1623427145615:blk_1073749943_9120 file=/warehouse/gmall/ods/ods_log/dt=2020-06-14/log-.1633960230693.lzo.index

是NN与DN失联，导致block缺失，去Hadoop102上查看确实提示missing blocks。

标签