conducteur et exécuteur des paramètres définis dans le mode fil fonctionneront:
--driver-Cores: Pilote de l'application Spark numéro du processeur, la planification du pilote et l' achèvement du principal gestionnaire de cluster et les tâches d'exécuteur testamentaire et de coordination.
--executor-conducteurs: Spark Application Executor chaque numéro de noyau d'unité centrale, le nombre de fils parallèles utilisés par chaque exécuteur, que le plus grand nombre de tâches de chaque exécuteur peut être exécuté en même temps.
--executor mémoire: la mémoire maximale utilisée par chaque exécuteur testamentaire ne doit pas dépasser la mémoire maximale unique peut être utilisée.
--num-exécuteurs: créer autant exécuteur testamentaire.
Spark ensemble raisonnable de parallélisme d'accord:
Principalement touchés par le degré de parallélisme des noyaux de --executor-et --num-exécuteurs: Le noyau du nombre total de executorCores cpu * numExecutors, numéro de tâche officiellement recommandé est généralement fixé au nombre total de cpu core 2 ~ 3 fois le nombre de chaque étape de la tâche. le nombre de partitions est divisée RDD
voir: https://www.cnblogs.com/jxhd1/p/6702218.html
Spark dans la tâche, la partition, RDD, le nombre de noeuds, le nombre Exécuteur, le nombre de relations de base et application, le pilote, Job, Tâche, étape comprendre:
Voir: https://www.cnblogs.com/liuys635/p/11083338.html
SparkConf Propriétés:
Voir: http://doc.codingdict.com/spark/20/