Application:用户构建在Spark上的程序。由集群上的一个driver程序和多个executor组成。
Application jar:一个包含用户Spark应用的Jar。包含应用和应用的依赖。用户的Jar包应该不包含Hadoop或者Spark库,它们会在运行时添加。
Driver Program:该进程运行应用的main()方法并创建SparkContext对象。
Cluster Manager:一个外部用于获取集群上资源的服务
(Standalone Manage,Mesos,YARN)。
Deploy Mode:根据driver程序运行的位置进行区别:在Cluster模式中,框架在集群内部启动driver。在Client模式中,submitter在集群外部启动driver。
Worker Node:任何在集群中可以运行应用程序代码的节点。
Executor:为了执行worker节点上的应用而启动的进程,它运行task并将数据保存在内存或磁盘文件系统。每个应用都有它自己的Executor。
Task:将要被发送到Executor中的工作单元。
Job:有多个task组成的并行计算(懒加载)。
Stage:每个Job被拆分成更小的stage(阶段)的task组,stage是按宽依赖进行拆分的,stage彼此依赖。