1. Официальный сайт
![image.png](https://upload-images.jianshu.io/upload_images/18296616-6daa9b7e79f81734.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
2. Скачать
Загрузить последнюю версию в настоящее время (2.4.3)
Эта искра предустановка для hadoop2.7 или более поздней версии, установлен в передней части меня не знают , что интервью не совместим с hadoop3.1.2
конкретный адрес: http://spark.apache.org /downloads.html
![image.png](https://upload-images.jianshu.io/upload_images/18296616-5c48fdece05d2a9f.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
Перейти на эту страницу, чтобы продолжить, чтобы выбрать Загрузить
![image.png](https://upload-images.jianshu.io/upload_images/18296616-4d95fd5df351e10e.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
Мы выбираем для загрузки хорошей искры пакета установки загруженного на нашу виртуальную машину
![image.png](https://upload-images.jianshu.io/upload_images/18296616-8b54cd75e18d848c.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
Загрузка успешно
[shaozhiqi@hadoop102 opt]$ cd software/
[shaozhiqi@hadoop102 software]$ ll
total 739668
-rw-rw-r--. 1 shaozhiqi shaozhiqi 332433589 Jun 23 19:59 hadoop-3.1.2.tar.gz -rw-rw-r--. 1 shaozhiqi shaozhiqi 194990602 Jun 23 19:59 jdk-8u211-linux-x64.tar.gz -rw-rw-r--. 1 shaozhiqi shaozhiqi 229988313 Jun 30 17:46 spark-2.4.3-bin-hadoop2.7.tgz
декомпрессия
[shaozhiqi@hadoop102 software]$ tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz -C /opt/module/
После того, как файлы распаковываются искровой каталог
[shaozhiqi@hadoop102 module]$ pwd
/opt/module [shaozhiqi@hadoop102 module]$ ll total 12 drwxr-xr-x. 15 shaozhiqi shaozhiqi 4096 Jun 30 10:48 hadoop-3.1.2 drwxr-xr-x. 7 shaozhiqi shaozhiqi 4096 Jun 23 15:46 jdk1.8.0_211 drwxr-xr-x. 13 shaozhiqi shaozhiqi 4096 May 1 13:19 spark-2.4.3-bin-hadoop2.7 [shaozhiqi@hadoop102 module]$ cd spark-2.4.3-bin-hadoop2.7/ [shaozhiqi@hadoop102 spark-2.4.3-bin-hadoop2.7]$ ls bin data jars LICENSE NOTICE R RELEASE yarn conf examples kubernetes licenses python README.md sbin [shaozhiqi@hadoop102 spark-2.4.3-bin-hadoop2.7]$
3 документа объясняют
Есть 3,1 бен каталог и SBIN каталоги, SBIN каталоги помещаются команда отвечает за управление кластером
[shaozhiqi@hadoop102 spark-2.4.3-bin-hadoop2.7]$ cd sbin/
[shaozhiqi@hadoop102 sbin]$ ls
slaves.sh start-mesos-shuffle-service.sh stop-mesos-dispatcher.sh
spark-config.sh start-shuffle-service.sh stop-mesos-shuffle-service.sh
spark-daemon.sh start-slave.sh stop-shuffle-service.sh
spark-daemons.sh start-slaves.sh stop-slave.sh
start-all.sh start-thriftserver.sh stop-slaves.sh
start-history-server.sh stop-all.sh stop-thriftserver.sh
start-master.sh stop-history-server.sh
start-mesos-dispatcher.sh stop-master.sh
[shaozhiqi@hadoop102 sbin]$
3,2 каталога бен есть некоторые конкретные операции искровых команд, такие как представление задач
[shaozhiqi@hadoop102 spark-2.4.3-bin-hadoop2.7]$ cd bin/
[shaozhiqi@hadoop102 bin]$ ls
beeline load-spark-env.sh spark-class spark-shell spark-submit beeline.cmd pyspark spark-class2.cmd spark-shell2.cmd spark-submit2.cmd docker-image-tool.sh pyspark2.cmd spark-class.cmd spark-shell.cmd spark-submit.cmd find-spark-home pyspark.cmd sparkR spark-sql find-spark-home.cmd run-example sparkR2.cmd spark-sql2.cmd load-spark-env.cmd run-example.cmd sparkR.cmd spark-sql.cmd [shaozhiqi@hadoop102 bin]$
3.3 Конф Основной профиль искры
[shaozhiqi@hadoop102 conf]$ ll
total 36
-rw-r--r--. 1 shaozhiqi shaozhiqi 996 May 1 13:19 docker.properties.template -rw-r--r--. 1 shaozhiqi shaozhiqi 1105 May 1 13:19 fairscheduler.xml.template -rw-r--r--. 1 shaozhiqi shaozhiqi 2025 May 1 13:19 log4j.properties.template -rw-r--r--. 1 shaozhiqi shaozhiqi 7801 May 1 13:19 metrics.properties.template -rw-r--r--. 1 shaozhiqi shaozhiqi 865 May 1 13:19 slaves.template -rw-r--r--. 1 shaozhiqi shaozhiqi 1292 May 1 13:19 spark-defaults.conf.template -rwxr-xr-x. 1 shaozhiqi shaozhiqi 4221 May 1 13:19 spark-env.sh.template [shaozhiqi@hadoop102 conf]$ pwd /opt/module/spark-2.4.3-bin-hadoop2.7/conf [shaozhiqi@hadoop102 conf]$
4. Эксплуатация
4.1 Переименование трех профилей:
[shaozhiqi@hadoop102 conf]$ mv slaves.template slaves
[shaozhiqi@hadoop102 conf]$ mv spark-defaults.conf.template spark-defaults.conf
[shaozhiqi@hadoop102 conf]$ mv spark-env.sh.template spark-env.sh
4.2 Модификация рабов (конфигурация рабочего)
[shaozhiqi@hadoop102 conf]$ vim slaves
# A Spark Worker will be started on each of the machines listed below.
hadoop102
hadoop103
hadoop104
4,3 изменить spark-env.sh, конфигурации marster
[shaozhiqi@hadoop102 conf]$ vim spark-env.sh
SPARK_MASTER_HOST=hadoop102
SPARK_MASTER_PORT=7077
# Options for the daemons used in the standalone deploy mode
# - SPARK_MASTER_HOST, to bind the master to a different IP address or hostname
# - SPARK_MASTER_PORT / SPARK_MASTER_WEBUI_PORT, to use non-default ports for the master
4.4 распространить на другие наши машины
[shaozhiqi@hadoop102 module]$ testxsync spark-2.4.3-bin-hadoop2.7/
4.5 Проверка ли успех распределения
Более 103 успешные искровой 2.4.3-бен-hadoop2.7
[shaozhiqi@hadoop103 module]$ ll
total 12
drwxr-xr-x. 15 shaozhiqi shaozhiqi 4096 Jun 30 10:30 hadoop-3.1.2 drwxr-xr-x. 7 shaozhiqi shaozhiqi 4096 Jun 23 15:19 jdk1.8.0_211 drwxr-xr-x. 13 shaozhiqi shaozhiqi 4096 Jun 30 18:35 spark-2.4.3-bin-hadoop2.7 [shaozhiqi@hadoop103 module]$
104 успеха
[shaozhiqi@hadoop104 ~]$ cd /opt/module/
[shaozhiqi@hadoop104 module]$ ll total 12 drwxr-xr-x. 15 shaozhiqi shaozhiqi 4096 Jun 30 10:27 hadoop-3.1.2 drwxr-xr-x. 7 shaozhiqi shaozhiqi 4096 Jun 23 15:23 jdk1.8.0_211 drwxr-xr-x. 13 shaozhiqi shaozhiqi 4096 Jun 30 18:35 spark-2.4.3-bin-hadoop2.7 [shaozhiqi@hadoop104 module]$
одна 4,6 Начало искры (NameNode и DataNode Hadoop в не начались)
[shaozhiqi@hadoop102 hadoop-3.1.2]$ jps
12022 Jps
[shaozhiqi@hadoop102 hadoop-3.1.2]$
Для того, чтобы зажечь каталог
[shaozhiqi@hadoop102 spark-2.4.3-bin-hadoop2.7]$ sbin/start-all.sh
starting org.apache.spark.deploy.master.Master, logging to /opt/module/spark-2.4.3-bin-hadoop2.7/logs/spark-shaozhiqi-org.apache.spark.deploy.master.Master-1-hadoop102.out hadoop104: starting org.apache.spark.deploy.worker.Worker, logging to /opt/module/spark-2.4.3-bin-hadoop2.7/logs/spark-shaozhiqi-org.apache.spark.deploy.worker.Worker-1-hadoop104.out hadoop103: starting org.apache.spark.deploy.worker.Worker, logging to /opt/module/spark-2.4.3-bin-hadoop2.7/logs/spark-shaozhiqi-org.apache.spark.deploy.worker.Worker-1-hadoop103.out hadoop102: starting org.apache.spark.deploy.worker.Worker, logging to /opt/module/spark-2.4.3-bin-hadoop2.7/logs/spark-shaozhiqi-org.apache.spark.deploy.worker.Worker-1-hadoop102.out hadoop104: failed to launch: nice -n 0 /opt/module/spark-2.4.3-bin-hadoop2.7/bin/spark-class org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://hadoop102:7077 hadoop104: JAVA_HOME is not set hadoop104: full log in /opt/module/spark-2.4.3-bin-hadoop2.7/logs/spark-shaozhiqi-org.apache.spark.deploy.worker.Worker-1-hadoop104.out hadoop103: failed to launch: nice -n 0 /opt/module/spark-2.4.3-bin-hadoop2.7/bin/spark-class org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://hadoop102:7077 hadoop103: JAVA_HOME is not set hadoop103: full log in /opt/module/spark-2.4.3-bin-hadoop2.7/logs/spark-shaozhiqi-org.apache.spark.deploy.worker.Worker-1-hadoop103.out hadoop102: failed to launch: nice -n 0 /opt/module/spark-2.4.3-bin-hadoop2.7/bin/spark-class org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://hadoop102:7077 hadoop102: JAVA_HOME is not set hadoop102: full log in /opt/module/spark-2.4.3-bin-hadoop2.7/logs/spark-shaozhiqi-org.apache.spark.deploy.worker.Worker-1-hadoop102.out [shaozhiqi@hadoop102 spark-2.4.3-bin-hadoop2.7]$
Вход также неудачно, проверьте следующую страницу:
![image.png](https://upload-images.jianshu.io/upload_images/18296616-38d193e910f191df.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
Рабочие никакие другие машины не смогли начать
4,7 повторно редактировать наш файл конфигурации, первый остановился искра
[shaozhiqi@hadoop102 spark-2.4.3-bin-hadoop2.7]$ sbin/stop-all.sh
export JAVA_HOME=/opt/module/jdk1.8.0_211 export SPARK_MASTER_HOS=hadoop102 export SPARK_MASTER_PORT=7077
4.8 Перераспределение модифицированные конфигурации
[shaozhiqi@hadoop102 module]$ testxsync spark-2.4.3-bin-hadoop2.7/
4.9 Перезагрузка искры
[shaozhiqi@hadoop102 spark-2.4.3-bin-hadoop2.7]$ sbin/start-all.sh
starting org.apache.spark.deploy.master.Master, logging to /opt/module/spark-2.4.3-bin-hadoop2.7/logs/spark-shaozhiqi-org.apache.spark.deploy.master.Master-1-hadoop102.out hadoop103: starting org.apache.spark.deploy.worker.Worker, logging to /opt/module/spark-2.4.3-bin-hadoop2.7/logs/spark-shaozhiqi-org.apache.spark.deploy.worker.Worker-1-hadoop103.out hadoop104: starting org.apache.spark.deploy.worker.Worker, logging to /opt/module/spark-2.4.3-bin-hadoop2.7/logs/spark-shaozhiqi-org.apache.spark.deploy.worker.Worker-1-hadoop104.out hadoop102: starting org.apache.spark.deploy.worker.Worker, logging to /opt/module/spark-2.4.3-bin-hadoop2.7/logs/spark-shaozhiqi-org.apache.spark.deploy.worker.Worker-1-hadoop102.out [shaozhiqi@hadoop102 spark-2.4.3-bin-hadoop2.7]$
4.10 Проверка:
![image.png](https://upload-images.jianshu.io/upload_images/18296616-7afe3cbd6c885e1e.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
4,11 Вид процесса:
102
[shaozhiqi@hadoop102 spark-2.4.3-bin-hadoop2.7]$ jps
13217 Worker
13297 Jps 13135 Master [shaozhiqi@hadoop102 spark-2.4.3-bin-hadoop2.7]$
103
[shaozhiqi@hadoop103 conf]$ jps
10528 Worker
10601 Jps
[shaozhiqi@hadoop103 conf]$
104
[shaozhiqi@hadoop104 module]$ jps
11814 Jps
11741 Worker [shaozhiqi@hadoop104 module]$
4.12 проходит официальный пример
Просмотр Sample версия
[shaozhiqi@hadoop102 examples]$ cd jars
[shaozhiqi@hadoop102 jars]$ ll
total 2132
-rw-r--r--. 1 shaozhiqi shaozhiqi 153982 May 1 13:19 scopt_2.11-3.7.0.jar -rw-r--r--. 1 shaozhiqi shaozhiqi 2023919 May 1 13:19 spark-examples_2.11-2.4.3.jar
Отправка заданий
бен / Искра-Передать
--class org.apache.spark.examples.SparkPi \ // указать главный класс
--master искровой: // hadoop102: 7077 \ // Указываем также представлен в кластер
--executor-памяти 1G \ // память , когда выполнение задачи может назначить
номер исполнения 2 // --total-Executor Executor-сердечников
./examples/jars/spark-examples_2.11-2.4.3.jar \ // выполнения пакета банку
100 // параметр
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \ --master spark://hadoop102:7077 \ --executor-memory 1G \ --total-executor-cores 2 \ ./examples/jars/spark-examples_2.11-2.4.3.jar \ 100
Проверьте наш мониторинг искры: Мы просто нашли работу, выполненную в исполнении
![image.png](https://upload-images.jianshu.io/upload_images/18296616-4dfd77e6d2b43cf2.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
4,13 искровой оболочка также может представлять задачи. Scala откроет наш редактор кода, так что мы можем написать код непосредственно отправлять задания
[shaozhiqi@hadoop102 spark-2.4.3-bin-hadoop2.7]$ bin/spark-shell --master spark://hadoop102:7077
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Spark context Web UI available at http://hadoop102:4040
Spark context available as 'sc' (master = spark://hadoop102:7077, app id = app-20190630044455-0001).
Spark session available as 'spark'.
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_\ version 2.4.3
/_/
Using Scala version 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_211)
Type in expressions to have them evaluated.
Type :help for more information. scala>
Посетите пользовательский интерфейс 4.13 в Web HTTP: // hadoop102: 4040
Причина в том, что мы должны быть заменены IP отображения win10 IP и имя машины не настроен, последующие действия на этой странице, я хотел бы добавить
![image.png](https://upload-images.jianshu.io/upload_images/18296616-cb427b9a810d0ccc.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)