1.目标
在测试环境,实际运行 HDFS 数据冷热分层。
2.操作
2.1 步骤 1、修改配置文件
## 修改 /usr/local/fqlhadoop/hadoop/conf/hdfs-site.xml,修改冷数据的机器设置:
<property>
<name>dfs.datanode.data.dir</name>
<value>[DISK]file:/data/hacluster/hadoop/datanode/</value>
</property>
## 修改热数据的机器设置:
<property>
<name>dfs.datanode.data.dir</name>
<value>[SSD]file:/data/hacluster/hadoop/datanode/</value>
</property>
2.2 步骤 2、对数据设置存储策略
对数据路径,设置冷热属性
hdfs storagepolicies -setStoragePolicy -path /user/aaronyu/split_storage_compute_20221005_1821 -policy All_SSD
2.3 步骤 3、执行命令
hdfs mover
3.冷热分层结果对比
3.1 执行冷热分层前
(1)在页面上查看:
(2)通过命令行查看:
3.2 执行冷热分层后
(1)在页面上查看:
(2)通过命令行查看: