Spark-core编程总结

1.reduce‌

功能‌：聚集RDD中的所有元素，先聚合分区内数据，再聚合分区间数据。

示例‌：rdd.reduce(_+_) 将RDD中的所有整数相加。

2.collect‌

功能‌：在驱动程序中，以数组Array的形式返回数据集的所有元素。

示例‌：rdd.collect() 返回RDD中所有元素的数组。

3.foreach‌

功能‌：分布式遍历RDD中的每一个元素，调用指定函数。

示例‌：rdd.collect().foreach(println) 先收集RDD元素，然后逐个打印。

4.count‌

功能‌：返回RDD中元素的个数。

示例‌：rdd.count() 返回RDD中的元素数量。

5.first‌

功能‌：返回RDD中的第一个元素。

示例‌：rdd.first() 返回RDD中的第一个元素。

6.take‌

功能‌：返回一个由RDD的前n个元素组成的数组。

示例‌：rdd.take(2) 返回RDD中的前两个元素组成的数组。

7.takeOrdered‌

功能‌：返回RDD排序后的前n个元素组成的数组。

示例‌：rdd.takeOrdered(2) 返回RDD中排序后的前两个元素。

8.aggregate‌

功能‌：分区的数据通过初始值和分区内的数据进行聚合，然后再和初始值进行分区间的数据聚合。

示例‌：rdd.aggregate(0)(_+_, _+_) 将RDD的所有元素相加。

9.fold‌

功能‌：折叠操作，aggregate的简化版操作。

示例‌：rdd.fold(0)(_+_) 将RDD的所有元素相加，与aggregate的示例类似但更简洁。

10.countByKey‌

功能‌：统计每种key的个数，适用于RDD[(K, V)]类型。

示例‌：rdd.countByKey() 统计每种key出现的次数。

11.save相关算子‌

功能‌：将数据保存到不同格式的文件中，包括文本文件、对象文件和序列文件。

示例‌：

rdd.saveAsTextFile("path") 保存为文本文件。rdd.saveAsObjectFile("path") 保存为对象文件。

rdd.saveAsSequenceFile("path") 保存为序列文件（了解即可）。

12.累加器（Accumulator）

‌实现原理‌：
累加器用于把Executor端的变量信息聚合到Driver端。在Driver程序中定义的变量，在Executor端的每个Task都会得到这个变量的一份新的副本。每个Task更新这些副本的值后，传回Driver端进行merge操作。

‌常用方法‌：

sparkContext.longAccumulator(name: String): 创建一个长整型累加器。

sparkContext.doubleAccumulator(name: String): 创建一个双精度浮点型累加器。

自定义累加器：通过继承AccumulatorV2类，实现自定义的累加逻辑。

13.广播变量（Broadcast Variable）

‌实现原理‌：
广播变量用于高效分发较大的只读对象。它向所有工作节点发送一个较大的只读值，以供一个或多个Spark操作使用。Spark会为每个任务分别发送该变量，但在多个并行操作中可以共享同一个广播变量，从而提高效率。

‌常用方法‌：

sparkContext.broadcastT](value: T): 创建一个广播变量。

总结‌：

累加器适用于在分布式计算过程中聚合数据，如统计和、最大值、最小值等。

广播变量适用于在多个任务之间共享大对象，以减少数据传输开销，提高计算效率。