Работа Источник: https: //edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3319
1. Используйте свои собственные слова, чтобы уточнить на платформе Hadoop HDFS и функции MapReduce, принцип работы и процесс.
HDFS Hadoop Distributed File System полное имя, его наиболее важная роль в качестве сервиса для хранения в каждом Hadoop эко-системе. Функция: в которой объект должен быть в состоянии получить доступ больших объемов данных может поддерживать большое количество дешевого файла памяти из десяти миллионов долларов, это очень хороший способ хранения данных, в этом режиме пакетной данные во внимание, вместо того , чтобы обработка пользовательского взаимодействия, задержки доступа к данным , чем проблема, но ключ доступа к данным с высокой пропускной способностью . Как это работает: где HDFS с помощью ведущий / ведомый архитектуры, делится на две категории , а именно NameNode и DataNode узлов, где узел является организация мастер работы NameNode узел отвечает за доступ к файлу, DataNode узел в первую очередь , ответственный за управление системой хранения на машине ,
MapReduce модель программирования является функция: в основном используется для обработки больших объемов данных, таких как распределение Grep, распределения рода, веб-соединения на фиги инверсия, каждый машина слово вектор, анализ журнала доступа веба, конструируя обратный индекс, документ кластерных , машинное обучение, статистический машинный перевод, и так далее. Как это работает: Как данные блок на основе узлов данных не только один, поэтому основная идея заключается в параллельной обработке. И каждый блок ввода данных мы называем фрагментации, фрагментация процессы будут карта, каждая карта получена из результатов параллельно передаваемых для уменьшения сдерживающего затем обрабатывается и выход конечного результата.
Оба HDFS и MapReduce имеет важное значение, не пропуская линии, HDFS MapReduce должен быть источником данных, подлежащих обработке, но и MapReduce и HDFS обработки данных, с тем чтобы иметь эффект.