Он побежал MapReduce нашел там было семь Под имитационных блоков на кластере, можно увидеть на веб-странице, выполнить на основном узле:
$ бен / Hadoop FSCK -блоков
Просто прекрасно, после удаления файлов вызывает проблему.
Проблема, возможно, привели к двум причинам
1. Мы, возможно, придется блокировать копию коэффициент по умолчанию равен 3, но только два из нашего DataNode узла 2 или 1 будут появляться в это время, что есть ошибка
2. Мы mapperReduce, по умолчанию представить копию работы в 10, но мы не так много DataNode узла, эта ошибка может также произойти в это время
Эта ошибка не оказывает большого влияния на работу кластера
Первая проблема:
$ hadoop fs -setrep -R 1 /
или же
обновить hdfs-site.xml
свойство файла
dfs.replication=1
Вторая категория решения проблемы:
Mapper-сайт модификация этого атрибута, то по умолчанию 10, мы можем дать 3
mapreduce.client.submit.file.replication
Баш $ HDFS Fsck / | Grep 'Under реплицировать' | AWK -F ':' '{печать $ 1}'
Используйте эту команду, чтобы увидеть нас под блок реплик конкретного файла
- репликация #set
- Баш $ Hadoop фс -setrep 3 / имя_файла
Для копирования заданий по flie_name