spark常用术语

Application:用户构建在Spark上的程序。由集群上的一个driver程序和多个executor组成。

Application jar:一个包含用户Spark应用的Jar。包含应用和应用的依赖。用户的Jar包应该不包含Hadoop或者Spark库,它们会在运行时添加。

Driver Program:该进程运行应用的main()方法并创建SparkContext对象。

Cluster Manager:一个外部用于获取集群上资源的服务

Standalone Manage,Mesos,YARN)。

Deploy Mode:根据driver程序运行的位置进行区别:在Cluster模式中,框架在集群内部启动driver。在Client模式中,submitter在集群外部启动driver

Worker Node:任何在集群中可以运行应用程序代码的节点。

Executor:为了执行worker节点上的应用而启动的进程,它运行task并将数据保存在内存或磁盘文件系统。每个应用都有它自己的Executor

Task:将要被发送到Executor中的工作单元。

Job:有多个task组成的并行计算(懒加载)。

Stage:每个Job被拆分成更小的stage(阶段)task组,stage是按宽依赖进行拆分的,stage彼此依赖。

猜你喜欢

转载自blog.csdn.net/qq_27600723/article/details/80414455
今日推荐