HDFS 高级特性实验操作指南——快照和配额

本实验旨在通过实践掌握HDFS的两个核心高级特性：

1. 快照（Snapshots）

   • 理解HDFS快照的只读时间点备份机制

   • 学习使用快照进行数据误删恢复和版本回滚

2. 配额管理（Quotas）

   • 掌握通过配额限制存储空间和文件数量的方法

   • 熟悉生产环境中预防存储滥用的技术手段

实验核心原理

一、实验环境准备

1.登录Hadoop虚拟机

2.验证HDFS服务状态：

jps | grep -E 'NameNode|DataNode|SecondaryNameNode'

正常应显示三个进程：NameNode、DataNode和SecondaryNameNode

3.创建本地测试文件：

mkdir -p ~/hdfs_test
echo "测试文件1内容" > ~/hdfs_test/file1.txt
echo "测试文件2内容" > ~/hdfs_test/file2.xml
mkdir -p ~/hdfs_test/subdir
echo "子目录测试文件" > ~/hdfs_test/subdir/file3.txt

二、HDFS快照(Snapshots)实验

1. 创建测试目录结构

hdfs dfs -mkdir -p /data1/important/subdir
hdfs dfs -put ~/hdfs_test/* /data1/important/
hdfs dfs -put ~/hdfs_test/subdir/file3.txt /data1/important/subdir/

2. 启用快照功能

hdfs dfsadmin -allowSnapshot /data1/important
hdfs lsSnapshottableDir  # 验证可快照目录

3. 创建初始快照

hdfs dfs -createSnapshot /data1/important snapshot_v1
hdfs dfs -ls /data1/important/.snapshot  # 查看快照列表

4. 修改数据并创建差异快照

hdfs dfs -rm /data1/important/file1.txt
echo "新文件内容" > ~/hdfs_test/new_file.txt
hdfs dfs -put ~/hdfs_test/new_file.txt /data1/important/
hdfs dfs -createSnapshot /data1/important snapshot_v2

5. 快照比较

hdfs dfs -ls /data1/important/.snapshot/snapshot_v1 > snap1.txt
hdfs dfs -ls /data1/important/.snapshot/snapshot_v2 > snap2.txt
diff -y snap1.txt snap2.txt  # 并排比较差异

6. 快照恢复操作

hdfs dfs -mkdir /data1/restored
# 恢复单个文件
hdfs dfs -cp /data1/important/.snapshot/snapshot_v1/file1.txt /data1/restored/
# 恢复整个目录状态
hdfs dfs -rm -r /data1/important/*
hdfs dfs -cp /data1/important/.snapshot/snapshot_v1/* /data1/important/

7. 快照管理

# 重命名快照
hdfs dfs -renameSnapshot /data1/important snapshot_v1 initial_snapshot
# 删除快照
hdfs dfs -deleteSnapshot /data1/important snapshot_v2
# 禁用快照
hdfs dfsadmin -disallowSnapshot /data1/important

三、HDFS配额管理(Quotas)实验

1. 创建测试目录

# 检查目录是否存在
hdfs dfs -ls /test_quota

# 如果不存在则创建（确保使用绝对路径）
hdfs dfs -mkdir -p /test_quota

# 验证目录权限
hdfs dfs -ls /

2. 存储空间配额测试

# 设置GB空间配额（考虑3副本）
hdfs dfsadmin -setSpaceQuota 2G /test_quota

# 上传测试（显式指定副本数3）
hdfs dfs -D dfs.replication=3 -put ~/hdfs_test/large2_file /test_quota/large_file1  # 应成功
hdfs dfs -D dfs.replication=3 -put ~/hdfs_test/large_file /test_quota/large_file2  # 应失败

# 查看详细配额
hdfs dfs -count -q -h /test_quota

# 清除空间配额
hdfs dfsadmin -clrSpaceQuota /test_quota

3. 命名空间配额测试

# 设置10个文件限制
hdfs dfsadmin -setQuota 10 /test_quota

# 测试创建文件
for i in {1..15}; do
  hdfs dfs -touchz /test_quota/file_$i
done  # 第11个文件应失败

# 查看配额
hdfs dfs -ls -q /test_quota

# 清除命名空间配额
hdfs dfsadmin -clrQuota /test_quota

四、清理实验环境

# 删除HDFS测试目录
hdfs dfs -rm -r /data1 /test_quota

# 删除本地测试文件
rm -rf ~/hdfs_test snap*.txt large_file

通过本实验，您将深入理解HDFS的资源管控和数据保护机制，为生产环境运维打下坚实基础。

五、实验报告记录表

六、注意事项

1. 所有HDFS操作路径都是HDFS内部路径，不是本地路径

2. 快照只能防止误删除，不能替代完整备份方案

3. 配额计算包含副本因素(默认3副本)

4. 重要操作前建议先在小目录测试

5. 生产环境应使用专用HDFS用户而非root操作

七、故障排查指南

1. 权限问题：

   sudo -u hdfs hdfs dfs -chmod 777 /data  # 临时解决方案

2. 快照目录为空：

   • 确认创建快照前目录有文件

   • 检查.snapshot目录是否可见

3. 配额不生效：

   • 确认设置的是正确目录路径

   • 检查配额值是否足够大(大于当前使用量)

4. 命令不存在：

   • 确认Hadoop环境变量已配置

   • 使用绝对路径：/usr/bin/hdfs dfs -ls /