关于hadoop putMerge 出错“wrong FS”问题

最新推荐文章于 2023-12-13 09:54:06 发布

原创最新推荐文章于 2023-12-13 09:54:06 发布 · 836 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

hadoop

当前文章被收录于：

hadoop

4 篇文章 0 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

本文介绍在Eclipse环境中使用Hadoop进行文件上传时的一个常见错误及其解决方案。错误出现在获取FileSystem对象时，通过修改代码使用Path类来获取HDFS可以有效解决此问题。

在Eclipse中直接提供上传的文件所在目录路径和目的文件路径名。

出错语句——获得FileSystem对象：

Configuration conf = new Configuration;

FileSystem hdfs = FileSystem.get(conf);

修改语句——通过Path获得Hdfs：

Configuration conf = new Configuration;

FileSystem hdfs = new Path(arg[1]).getFileSystem(conf);//arg[1]为HDFS中的目的文件路径名

标签

#putMerge #报错 #path #wrong fs #hadoop

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

迈克尔摩峰

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

使用mount挂载磁盘mount: wrong fs type, bad option, bad superblock on 以及Centos7.9服务器LVM方式挂载磁盘时的问题

本博客记录了从2014年以来在工作学习中遇到的技术问题、解决方法以及部分个人人生经历、经验等内容。

03-21

1万+

使用mount挂载磁盘的常见问题就是可能碰到mount point does not exist以及wrong fs type, bad option之类的错误。进行磁盘挂载前，我们要先确认linux是否已经识别磁盘，可以使用lsblk或fdisk -l查看磁盘是否已经能正常识别。如果能识别如Disk /dev/vda和Disk /dev/vdb多个，则表示正常识别。识别之后执行挂载命令：mount /dev/vdb /disk。

hadoop学习笔记（四）Wrong FS报错

ptrdu的专栏

05-04

1628

Wrong FS expected: file:/// 问题对于一个简单的hadoop api调用问题，经常出现以下报错： Configuration conf = new Configuration（）； FileSystem fs = FileSystem.get(conf); fs.copyFromLocalFile(new Path(“/home/ptrdu/inp

参与评论您还未登录，请先登录后发表或查看评论

Wrong FS: hdfs:, expected:file:///

yxdayd的专栏

10-24

5831

这是在对hdfs进行写入操作时发现的错误，最终解决了，给大家分享一下，希望对遇到同样问题的朋友

Hadoop(1)：权限问题以及Wrong FS错误

Make My First Step

02-23

7663

记录一些问题。首先是权限的问题。在Eclipse下开发时候会遇到Permission Denied的状况。该权限即可(貌似不太安全，我看到有人是修改的配置文件，等我和大牛们讨论了再说) 1、权限的改法，以我的为例 ./hadoop fs -chmod -R 777 ~/hadoop/hadoop 2、关于使用java api上传文件。在定义一个FileSystem变量的时候伪分

Wrong FS: hdfs://hadoop20:9000/word.txt, expected: file:///－－－异常解决方案

什么最重要？算法！！

07-01

4398

今天搭建了一个hadoop2.0(yarn集群平台)，首先在上面测试了一个FileSystem实例程序，代码如下：package IT0701;import java.io.IOException; import java.net.URISyntaxException;import org.apache.commons.compress.utils.IOUtils; import org.apach

hadoop报错Wrong FS: hdfs:/, expected: file:///

yangbosos的博客

04-04

5136

在hadoop-2.2.0版本中对hdfs进行简单的测试操作，代码如下所示 Configuration conf = new Configuration(); try { FileSystem fs = FileSystem.get(conf); Path f = new Path("hdfs:///...

异常java.lang.IllegalArgumentException: Wrong FS: hdfs:/, expected: file:///

pgwcumt的专栏

02-25

2924

在hadoop-2.2.0版本中对hdfs进行简单的测试操作，代码如下所示 Configuration conf = new Configuration(); try { FileSystem fs = FileSystem.get(conf); Path f = new Path("hdfs:///dfs_operator.txt"); FSDataOutputStre...

【linux】nfs挂载错误wrong fs type, bad option, bad superblock

m0_67085438的博客

12-13

2630

前言在linux中利用nfs挂载硬盘时发现提示wrong fs type, bad option, bad superblock错误了，在网上搜索了一下说是没有安装 mount.nfs了，我们只要安装mount.nfs就不会有wrong fs type, bad option, bad superblock错误提示了哦。今天碰到一个nfs挂载错误的问题，错误提示如下：一、报错内容：根据错误提示，查看/sbin/mount.文件，果然发现没有/sbin/mount.nfs的文件，安装

解决wrong fs type, bad option, bad superblock on /dev/sda1问题

氷泠

11-12

1万+

某天挂载硬盘的时候，系统提示了如下错误：在此记录排查过程以及解决方案。

Wrong FS: hdfs://localhost:9000/input, expected: file:///

scalad

10-28

5525

使用java对hadoop操作的时候出现错误Wrong FS: hdfs://localhost:9000/input, expected: file:///，错误信息如下 log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j

Wrong FS: hdfs://xxx/xxx expected: file:///

weixin_30535913的博客

04-08

423

Eclipse调用HDFS API上传文件时出现了如下错误： Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://master:9000/user/Administrator, expected: file:/// at org.apache.hadoop.fs.FileSy...

hive SQL 查询报错Wrong FS

BertramLAU的专栏

01-15

692

错误信息 Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Unable to determine if hdfs://master01.cdh:8020/user/hive/warehouse/acccore.db/t_sy_banks is encrypted: java.lang.IllegalArgumentException: Wrong FS: hdfs://master01.cdh:8020/user/hive/wareh

mount: wrong fs type

欲穷千里目，更上一层楼

07-14

6869

# mount -t nfs -o nolock 192.168.1.84:/home/jason/filesys /mnt/nfsmount: wrong fs type, bad option, bad superblock on 192.168.1.84:/home/jason/filesys, missing codepage or helper program, or oth

java.lang.IllegalArgumentException: Wrong FS ...异常的解决

jishublog

06-28

1725

配置完Hbase后，启动,JPS发现少了HMaster这个进程。查看了一下日志如下：java.lang.IllegalArgumentException: Wrong FS: hdfs://192.168.0.131:9000/hbase, expected: hdfs://icache-9200.site:9000 at org.apache.hadoop.fs.FileSystem.chec...

nfs挂载错误wrong fs type, bad option, bad superblock

热门推荐

wisdom_c_1010的专栏

12-03

1万+

感谢分享：http://www.111cn.net/sys/linux/62951.htm 错误： [root@HZCTC-hadoop-0-81 hadoop]# mount -t nfs 192.168.0.66:/opt/data /home/hadoop/disk mount: wrong fs type, bad option, bad superblock on 192.168.

Wrong FS: hdfs://******, expected: file:///

qingyang0320的专栏

05-14

2648

运行spark-submit遇到如下报错：Exception in thread “main” java.lang.IllegalArgumentException: Wrong FS: hdfs://******, expected: file:/// 原因：conf.addResource(file:Path)的参数需要是一个Path类的实例，而不是String类的实例，所以如果这么写是不对

关于java.lang.IllegalArgumentException: Wrong FS: hdfs://master:9000/input/test2.txt, expected: file:/

叙话代码

03-25

2264

关于java.lang.IllegalArgumentException: Wrong FS: hdfs://master:9000/input/test2.txt, expected: file:///的错误解决办法： conf.set("fs.defaultFS", "hdfs://192.168.XXX.XXX:9000");

[初学hadoop]错误信息：hdfs://192.168.0.16:9000/report.bak, expected: file:///

menghuannvxia的专栏

03-24

2975

在本地运行hadoop Map/Reduce程序时，在涉及到hdfs文件操作的时候，往往会出现上面提到的错误，例如，下面这段代码： 1 Path clear_path = new Path(args[1]); 2 FileSystem fs = FileSystem.get(conf); 3 fs.delete(clear_path); 通过试验发现，在分布式ha

hadoop遇见的错误

勿六七的博客

09-01

9780

一：put: `input': No such file or directory 错误来源： bin/hdfs dfs -put etc/hadoop input 解决方案： bin/hadoop fs -mkdir /user/root bin/hadoop fs -mkdir /user/root/input 原因分析： 1可能是本地没有这个文件但是一般不是这个错误就