spark的基础

1、spark最基础最核心的功能是sparkCore

2、 sparkcore主要包含:sparkContext、计算引擎、存储体系、部署模式

3、RDD:分布式数据集,是spark中最基本的数据抽象。它代表一个不可变,可分区的,内部元素可并行计算的集合。

4、sparkCore的基本代码功能:

1、wordCount(单词统计)

2、boradCast(广播变量)

3、accumulator(计数器)

4、partion(分区)

具体代码点击: sparkCore

 
  

猜你喜欢

转载自blog.csdn.net/weixin_40126236/article/details/87869352