MapReduce 题:
-
В каталоге узлов кластера /usr/hdp/2.4.3.0-227/hadoop-mapreduce/, есть случай JAR пакет Hadoop-MapReduce-examples.jar. JAR пакет работает PI для вычисления приближения пи Пг Map задачи , необходимые для запуска в пять раз, каждый бросок задача подсчета Карта 5.
корень @ Master ~] #su hdfs
[HDFS @ Master ~] $cd /usr/hdp/2.6.1.0-129/hadoop-mapreduce/
[HDFS @ Мастер Hadoop-MapReduce] $hadoop jar hadoop-mapreduce-examples.jar pi 5 5
сосчитайте Карты =. 5
образцов на карту =. 5
написанной мной ВХОД для карт # 0
Написали ВХОД для карт #. 1
Написал ВХОД для карт #-
Вход # 3 для карты Написала
писал ВХОД для карт # 4
Запуска задания
19/05/03 16:08:42 INFO client.RMProxy: Подключение к slaver1.hadoop ResourceManager AT / 10.0.0.104: 8050
19/05/03 16:08 : 42 INFO client.AHSProxy: Подключение к Application сервер История на slaver1.hadoop / 10.0.0.104: 10200
19/05/03 16:08:42 INFO input.FileInputFormat: Всего входные пути к процессу: 5
19/05/03 16:08:42 INFO mapreduce.JobSubmitter: количество расколов: 5
19/05/03 16:08 : 43 INFO mapreduce.JobSubmitter: Передать маркеры для работы: job_1556738815524_0004
19/05/03 16:08:43 INFO impl.YarnClientImpl: Представлено приложение application_1556738815524_0004
19/05/03 16:08:43 INFO mapreduce.Job: URL для отслеживания работа: HTTP: // slaver1.hadoop: 8088 / прокси / application_1556738815524_0004 /
19/05/03 16:08:43 INFO mapreduce.Job: Выполнение работы: job_1556738815524_0004
19/05/03 16:08:50 INFO mapreduce.Job : Работа job_1556738815524_0004 работает в режиме убер: ложные
19/05/03 16:08:50 INFO mapreduce.Job: карта 0% 0% уменьшить
19/05/03 16:08:57 ИНФО mapreduce.Job: Карта 20% снизить 0%
19/05/03 16:08:58 ИНФО mapreduce.Job: Карта 40% снизить 0%
19/05/03 16:09 : 01 INFO mapreduce.Job: Карта 60% 0% уменьшить
19/05/03 16:09:04 INFO mapreduce.Job: Карта 80% снизить 0%
19/05/03 16:09:05 INFO mapreduce.Job: Карта 100% 0% уменьшить
19/05/03 16:09:09 INFO mapreduce.Job: карта 100% уменьшить на 100%
19/05/03 16:09:10 INFO mapreduce.Job: Работа job_1556738815524_0004 успешно завершена
19/05/03 16:09:10 INFO mapreduce.Job: Счетчики: 49
Файловая система Счетчики
FILE: Количество прочитанных байт = 116
FILE: Количество записанных байт = 886989
FILE: Количество операций чтения = 0
FILE: Количество крупных операций чтения = 0
FILE : Количество операций записи = 0
HDFS: Количество прочитанных байт = 1340
HDFS: Количество записанных байт = 215
HDFS: Количество операций чтения = 23
HDFS: Количество крупных операций чтения = 0
HDFS: Количество операций записи = 3
Работа счетчики ,
запускаемые задачи карты = 5
Запущенных уменьшить задачи = 1
данные локальных задач карты = 5
Общее времени , затраченные на все карты в занятых временных интервалах (мс) = 44726
Общего времени , проведенных все уменьшается в занятых временных интервалах (мс) = 7838
Общее время , затраченных все задачи карты (мс) = 22363
Общее время , затраченное на все задачи уменьшения (мс) = 3919
Всего Vcore-миллисекунды , принятые всеми задачами карте = 22363
Всего Vcore-миллисекунды , принятые всеми уменьшить задачи = 3919
Всего мегабайта-миллисекунды , принятые всеми задачами карте = 34349568
Всего мегабайтых-миллисекунды , принятых все уменьшить задачи = 8026112
Map-Reduce Рамочной
Карты входных записи = 5
Карты выходных записи = 10
Карты выходных байты = 90
Выходная Карты материализованных байты = 140
Входные сплит байт = 750
Комбинирования входных записей = 0
Зерноуборочные выходные записи = 0
Снижение входных групп = 2
Уменьшения перетасовка байт = 140
Уменьшения входных записей = 10
Уменьшения мощности записей = 0
пролиты записей = 20
перемешиваются Карты = 5
Failed перемешивает = 0
Слитых Карта выходов = 5
GC время , прошедшее (мс) = 400
процессорного времени , затраченное ( мс) = 5840
Физическая память (байт) снимок = 5756882944
Виртуальная память (байт) снимок = 19876769792
Всего привержен использования кучи (байт) = 5479333888
Перемешать Ошибки
BAD_ID = 0
CONNECTION = 0
IO_ERROR = 0
wrong_length = 0
WRONG_MAP = 0
WRONG_REDUCE = 0
Файл Формат ввода счетчиков
Bytes Read = 590
Файл Формат вывода счетчиков
Bytes Письменное = 97
Работа Закончено в 28.341 секунд
Расчетное значение Пи 3,68000000000000000000 -
В каталоге узлов кластера /usr/hdp/2.4.3.0-227/hadoop-mapreduce/, есть случай JAR пакет Hadoop-MapReduce-examples.jar. WordCount JAR пакет работает на /1daoyun/file/BigDataSkills.txt файл на количество слов, выход операционного результата / 1daoyun / вывода каталога с помощью команды результатов слова запроса счета.
Мастер ~ @ корень] #su hdfs
[HDFS Master @ ~] $cd /usr/hdp/2.6.1.0-129/hadoop-mapreduce/
[@ Master Hadoop-HDFS MapReduce] $hadoop jar hadoop-mapreduce-examples.jar wordcount /1daoyun/file/BigDataSkills.txt /1daoyun/output
19/05/03 16:13:07 INFO client.RMProxy: Подключение к slaver1.hadoop ResourceManager AT / 10.0.0.104: 8050
INFO client.AHSProxy 16:13:07 19/05/03: Подключение к Application Server , истории AT slaver1.hadoop / 10.0.0.104: 10200
19/05/03 16:13:08 INFO input.FileInputFormat: Пути к входу Общий процесс :. 1
19/05/03 16:13:08 mapreduce.JobSubmitter INFO: Количество шпагате :. 1
19/05/03 16:13:08 mapreduce.JobSubmitter INFO: токены представившего для задания: job_1556738815524_0005
19/05/03 16:13:09 INFO impl.YarnClientImpl: Представлено приложение application_1556738815524_0005
19/05/03 16:13:09 INFO mapreduce.Job: URL , чтобы отслеживать работу: HTTP: // slaver1.hadoop: 8088 / прокси / application_1556738815524_0005 /
19/05/03 16:13:09 INFO mapreduce.Job: Выполнение работы: job_1556738815524_0005
19/05/03 16:13:17 INFO mapreduce.Job: Работа job_1556738815524_0005 работает в режиме убер ложь
19/05 / 03 16:13:17 INFO mapreduce.Job: карта 0% 0% уменьшить
19/05/03 16:13:23 INFO mapreduce.Job: карта 100% уменьшить 0%
19/05/03 16:13:30 INFO MapReduce .JOB: карта 100% уменьшить 100%
19/05/03 16:13:31 INFO mapreduce.Job: Работа job_1556738815524_0005 успешно завершено
19/05/03 16:13:31 INFO mapreduce.Job: Счетчики: 49
Файловая система Счетчики
FILE: Количество прочитанных байт = 158
FILE: Количество записанных байт = 295257
FILE: Количество операций чтения = 0
FILE: Количество крупных операций чтения = 0
FILE: Количество операций записи = 0
HDFS: Количество прочитанных байт = 265
HDFS : Количество записанных байт = 104
HDFS: Количество операций чтения = 6
HDFS: Количество крупных операций чтения = 0
HDFS: Количество операций записи = 2
Работы Счетчики
Запущенной карты задача = 1
Запущенных уменьшить задачи = 1
Data-локальные карты задачу = 1
Общее время , затраченное на все карты в занятых временных интервалах (мс) = 7322
Общее время , проведенных все уменьшается в занятых временных интервалах (мс) = 10228
Общего времени , затраченных все задачи карты (мс) = 3661
Общее время , затраченное на все уменьшить задачи (мс) = 5114
Всего Vcore-миллисекунду , принятые все задачи карты = 3661
Всего Vcore-миллисекунда , принятая всеми уменьшить задачи = 5114
Всего мегабайт-миллисекунда , принятая все задачи карты = 5623296
Всего мегабайты миллисекунды принято все уменьшить задачи = 10473472
Map-Reduce Framework
Карта входных записей = 11
карты выходных записи = 22
карты выходных байты = 230
выходной Карта материализованных байт = 158
входных расщепленные байты = 121
зерноуборочных входные записей = 22
Объединить выходные записи = 12
уменьшения входных групп = 12
Уменьшить перетасовка байт = 158
Уменьшение входных записей = 12
Уменьшение мощности записи = 12
Spilled записей = 24
перемешиваются Карт = 1
Ошибка Shuffles = 0
Слитые Карта выходов = 1
время ГХ истекшее (мс) = 116
процессорное время (мс) = 2220
Физическая память (байт) снимок = 1325559808
Виртуальная память (байт) снимок = 6946390016
Общее использование совершено кучи (байты) = 1269301248
Ошибки Перемешать
BAD_ID = 0
CONNECTION = 0
IO_ERROR = 0
wrong_length = 0
WRONG_MAP = 0
WRONG_REDUCE = 0
Файл Формат ввода счетчиков
Bytes Read = 144
Файл Формат вывода счетчиков
Bytes Письменное = 104
[HDFS @ мастер Hadoop-MapReduce] $hadoop fs -cat /1daoyun/output/part-r-00000
Docker 1
elasticsearch 1
желоб 1
Hadoop 5
HBase 1
улей 3
Кафка 1
Redis 1
Solr 1
искра 5
sqoop 1
шторм 1 -
В каталоге узлов кластера /usr/hdp/2.4.3.0-227/hadoop-mapreduce/, есть случай JAR пакет Hadoop-MapReduce-examples.jar. Судоку JAR пакет работает результат расчета числа отдельных эксплуатационных проблем в следующей таблице. ,
Мастер @ ~ корень] #su hdfs
[@ HDFS Master ~] $cd /usr/hdp/2.6.1.0-129/hadoop-mapreduce/
[@ Master HDFS Hadoop-MapReduce] $hadoop jar hadoop-mapreduce-examples.jar sudoku /opt/puzzle1.dta
Решая, /opt/puzzle1.dta
. 8. 7. 1 2. 5. 4. 3. 6. 9
. 9. 4. 3. 1 2. 8. 6. 7. 5
. 6. 7. 5 . 4. 9. 1 2. 8. 3
. 1. 5. 4 2. 3. 7. 8. 9. 6
. 3. 6. 9. 8. 4. 5. 7 2. 1
2. 8. 7. 1. 6. 9. 5. 3. 4
. 5 2. 1. 9. 7. 4. 3. 6. 8
. 4. 3. 8. 5 2. 6. 9. 1 . 7
. 7. 9. 6. 8. 4. 3. 1. 5 2
Найдено 1 решения
4. В каталоге узлов кластера /usr/hdp/2.4.3.0-227/hadoop-mapreduce/, есть случай JAR пакет Hadoop-MapReduce-examples.jar. Grep программы запуск JAR пакет для подсчета количества раз файловой системы /1daoyun/file/BigDataSkills.txt появляется файл «Hadoop», после завершения статистики, статистика запросов информации.
Мастер @ ~ корень] # su hdfs
[@ HDFS Master ~] $ cd /usr/hdp/2.6.1.0-129/hadoop-mapreduce/
[@ Master HDFS Hadoop-MapReduce] $hadoop jar hadoop-mapreduce-examples.jar grep /1daoyun/file/BigDataSkills.txt /1daoyun/output hadoop