Hadoop数据块从2.7.2的默认64M变为了2.7.3的默认128M。
可在$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件中修改默认数据块大小:
<property>
<name>dfs.block.size</name>
<value>134217728</value> <!--改为128M-->
<description>Block size</description>
</property>
数据块越大,mapper越少,但mapper失败之后重启的时间也越长。
Hadoop 2.7.3版本将默认数据块大小从64M增加到128M,用户可通过$hadoop_home/etc/hadoop/hdfs-site.xml文件中的dfs.block.size属性进行修改。数据块增大可减少mapper数量,但同时增加mapper重启时间。
1519

被折叠的 条评论
为什么被折叠?



