Количество Под имитационных блоков 问题

Предупреждение: Данная статья является блоггером оригинал статьи, не могут быть воспроизведены без блоггеров допускается. https://blog.csdn.net/mn_kw/article/details/90017647

Он побежал MapReduce нашел там было семь Под имитационных блоков на кластере, можно увидеть на веб-странице, выполнить на основном узле:

$ бен / Hadoop FSCK -блоков

Просто прекрасно, после удаления файлов вызывает проблему.

Проблема, возможно, привели к двум причинам

1. Мы, возможно, придется блокировать копию коэффициент по умолчанию равен 3, но только два из нашего DataNode узла 2 или 1 будут появляться в это время, что есть ошибка

2. Мы mapperReduce, по умолчанию представить копию работы в 10, но мы не так много DataNode узла, эта ошибка может также произойти в это время

Эта ошибка не оказывает большого влияния на работу кластера

Первая проблема:

$ hadoop fs -setrep -R 1 /

или же

обновить hdfs-site.xmlсвойство файла

dfs.replication=1

Вторая категория решения проблемы:

Mapper-сайт модификация этого атрибута, то по умолчанию 10, мы можем дать 3

mapreduce.client.submit.file.replication

 

Баш $ HDFS Fsck / | Grep 'Under реплицировать' | AWK -F ':' '{печать $ 1}'

Используйте эту команду, чтобы увидеть нас под блок реплик конкретного файла

1. репликация #set
2. Баш $ Hadoop фс -setrep 3 / имя_файла

Для копирования заданий по flie_name