使用spark分布式计算框架进行数据计算时 出现报错 Caused by: java.io.IOException: Input path does not exist

原创 已于 2023-02-02 22:43:35 修改 · 1.5k 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#java #spark #大数据
于 2023-02-02 22:43:23 首次发布
当Spark遇到Inputpathdoesnotexist错误时，通常是由于读取的文件在HDFS上不存在或者只在部分节点上。解决方法是确保文件在所有计算节点都能访问，但这可能导致存储浪费。更佳实践是将数据存储在共享存储系统中，以便所有机器都能读取和计算。

报错原文

Caused by: java.io.IOException: Input path does not exist: hdfs://node1:8020/root/hello

在这里插入图片描述

错误原因：

读取的文件不存在或者是只在集群中的一台机器中存在。
这样的错误大多出现在读取本地数据文件

解决办法

再spark集群中的所有参与计算的机器都写入这个文件，也就是说每个机器的相同路径都要有这个文件。

这个样会对我们的系统空间造成很大的浪费，所以建议将数据文件存储到每台机器都可以访问到存储空间进行存储，以方便机器进行读取然后进行计算。

spark学习-spark的一些异常
九师兄
08-15 1774
Caused by: java.io.IOException: com.google.protobuf.ServiceException: java.lang.NoClassDefFoundError: com/yammer/metrics/core/GaugeCaused by: java.net.SocketTimeoutException: callTimeout=60000, callDur
spark-shell读取本地文件
风
04-17 1496
spark读取本地文件
Spark Streaming实时监听HDFS目录，但出现：Input path does not exist: hdfs://node1:9000/sst-024/20180101.log._COP
a921026768的博客
06-12 1393
Spark Streaming实时监听HDFS目录，出现找不文件异常。 异常主要提示信息：org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://node1:9000/sst-024/20180101.log._COPYING_ 详情如下图 出现问题原因 直接上传文件会在 HDFS 上生成一个临时文件，后缀是.COPYING，Spark Streaming .
Hadoop错误2_Hadoop伪分布式下，运行WordCount时，Input path does not exist错误原因
热门推荐
wang_zhenwei的博客
08-12 3万+
在伪分布式下，按照下面两个博客，分别以命令行方式和Eclipse执行WordCount程序时，都会出现同样的错误， （Eclipse：http://blog.csdn.net/wang_zhenwei/article/details/47422775） （命令行方式：http://blog.csdn.net/wang_zhenwei/article/details/47439623）
Input path does not exist: hdfs://localhost:9000/usr/hadoop/word.txt
DaB_za的博客
04-10 1万+
最近在学习Spark读取HDFS上面的数据，执行代码： textFile = sc.textFile("hdfs://localhost:9000/usr/local/hadoop/word.txt") 遇到标题上的错误： Input path does not exist: hdfs://localhost:9000/usr/local/hadoop/word.txt 作者第一次学习Spark，对本地（local）读取和HDFS读取并不是太懂，折腾了半天，找了很多解答，也还是没有解决这个问题。还好舍友厉
org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://localhost~~
小夏陌的博客
12-06 2万+
报错 在Spark中运行sc.textFile()等命令后报以下错误： org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://localhost:9000/Filename.txt 解决方法 这是所加载文件不存在而报的错，因为配置等原因textFile()默让是在HDFS中查找文件，所以只...
使用JAVA写词频统计时报错。Input path does not exist:
qq_43759478的博客
06-03 907
错误原因：没有把conf信息注入连接。
解决Input path does not exist：file://
perfer258的博客
06-16 3万+
任务提交指令:spark-submit  --class orderinversioninspark.RelativeFrequency ~/soft/temp/bigdataAnalysis.jar 2 /input/inputfile.txt /outputfi异常部分信息如下：Exception in thread "main" org.apache.hadoop.mapred.Invali...
解决问题:Input path does not exist: hdfs://localhost:9000/input
Sunday2017的博客
03-25 2万+
问题描述：在hdfs文件系统上没有input文件，接下来我们建一个即可，百度好多都是要使用命令去创建的，还有一个就是在DFS localtion里面直接创建具体：点击，输入input-->ok -->  运行完成...
错误：org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://lo
qq_53269459的博客
02-01 1万+
org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: 异常 Input path does not exist异常分析 描述： 在自定义实现编译运行 WordCount 的时候，本地hadoop中已经存在已包含内容的input文件，执行 jar 操作 bin/hadoop jar workspace/WordCount.jar WordCount input1 output的时候，出现以
Input path does not exist
Neighbor_L的博客
10-18 4738
Spark-sql 报错：org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: 现象 spark-sql手动提交任务，报错提示Input path does not exist PS:查资料过程中，有的用scala\java提交spark任务时，本应该读取HDFS路径，但是spark却读到了local path，有参数控制或者是dfs配置有操作，可以通过参数解决。 分析： 查tablename的hdfs路径，然
Hadoop 一些错误解决
fang.lovest.yang的博客
11-20 1301
1. Input path does not exist：file:/路径名      这个问题肯定是core-site.xl 配置文件中fs.defaultFS配置项配置不正确。如果是本机运行hadoop，那么需要修改配置文件中此配置项为hdfs://IP:Port；如果是eclipse提交到服务器运行，需要将自己的配置文件add bulidpath，即配置文件右键---Libraries--...
Hadoop问题：Input path does not exist: hdfs://Master:9000/user/hadoop/input
weixin_34194317的博客
03-03 1万+
问题描述： org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://Master:9000/user/hadoop/input at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.sing...
Spark读取Hive分区表出现Input path does not exist的问题！！
ChengYanan的博客
10-15 1902
Hive读取正常，不会报错，Spark读取数据就会出现报错信息： org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://testcluster/user/hive/warehouse/.... 然后我们去查看一下 表数据的具体在hdfs上的存储路径，去hdfs上查看，发现文件确实不存在！...
hadoop cluster tips
自渡
04-10 1508
用user用户运行课本上的单机版测试程序报错 org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://Master:9000/user/root/input 问题分析：Input path does not exist 问题解决：分布式环境中创建input目录...
Scala避坑：Caused by: java.io.IOException: unexpected exception type
superY_26的博客
01-21 3239
问题描述： 本地利用sbt打包上传到服务器集群上运行，报错：Caused by: java.io.IOException: unexpected exception type。 本地环境Scala本版2.12.15，spark版本2.3.2。 本文的报错代码是： val data = df.where("key=val1").first() 解决方案： 在网上找了很多解决办法，替换函数等各种尝试，结果都没能解决问题。最后发现是因为Scala版本不一致导致的问题。 检查服务器上的Scala版本是2.11.8
CDH 之 SPARK 启动错误 Caused by: java.io.FileNotFoundException: File does not exist
予挚之的博客
05-24 962
说明 hdfs namenode 服务器上并没有 /user/spark/applicationHistory 这个目录，进入 hdfs 服务进行创建目录。
mapreduce error:input path does not exist 的解决方法
u012318203的专栏
11-08 6385
运行mapreduce 有时可能出现如下错误： Exception in thread "main":Input path does not exist:file: ******* 一种可能的原因是，程序员在main函数里自己手工设置了文件输入输出路径，而路径不准确。 例如，这样写是错的：PathIn=“/user/root/input”， 改为：PathIn="hdfs://localh
Hadoop本地运行出现:Caused by: java.io.FileNotFoundException:D:/tmp/hadoop-win2010/mapred/local/
qq_34118993的博客
09-27 1275
完美解决hadoop本地运行时出现： Caused by: java.io.FileNotFoundException: D:/tmp/hadoop-win%2010/mapred/local/localRunner/root/jobcache/job_local384849921_0001/attempt_local384849921_0001_m_000000_0/output/file.out.index 意思是临时文件没找到，手动进入电脑目录下，目录确实为空，根本没有文件，猜想就是临时文件夹建立
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿龙的代码在报错

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值