南昌网站建设如何优化模型数学建模

一、RDD 转换算子分类：根据数据处理方式，RDD 算子分为 Value 类型、双 Value 类型和 Key - Value 类型。

1.Value 类型算子

map：逐条映射转换数据，可改变数据类型或值

mapPartitions：以分区为单位处理数据，可进行任意操作，能增删数据，但可能占用大量内存，内存有限时不推荐使用。与 map 相比，map 是分区内串行处理数据，mapPartitions 是分区批处理。

mapPartitionsWithIndex：类似 mapPartitions，处理数据时可获取当前分区索引。

flatMap：先扁平化数据再映射处理，区别于 map 将每条输入数据映射为一个新对象，flatMap 会将输入对象映射为新集合并连接成大集合。

glom：把同一分区数据转换为内存数组，分区不变。

groupBy：按指定规则分组数据，会打乱重组数据（shuffle），可能导致数据倾斜。

filter：筛选过滤数据，保留符合规则的，丢弃不符合的，可能造成分区内数据不均衡。

sample：按规则抽取数据，分不放回（伯努利算法）和放回（泊松算法）两种方式。

distinct：去除数据集中重复数据，可指定分区数。

coalesce：根据数据量缩减分区，提升小数据集执行效率，减少任务调度成本。

repartition：内部执行 coalesce 操作，默认 shuffle 为 true，可实现分区数增减。

sortBy：排序数据，可先处理数据再按处理结果排序，默认升序，会发生 shuffle，新 RDD 分区数与原 RDD 一致。

2.双 Value 类型算子

intersection：求两个 RDD 的交集。

union：求两个 RDD 的并集，重复数据不会去重。

subtract：以源 RDD 元素为主，去除重复元素，保留源 RDD 其他元素（求差集）。

zip：将两个 RDD 元素以键值对形式合并，Key 为第一个 RDD 元素，Value 为第二个 RDD 相同位置元素。

3.Key - Value 类型算子

partitionBy：按指定 Partitioner 重新分区，Spark 默认分区器是 HashPartitioner。

groupByKey：根据 key 对 value 进行分组，存在 shuffle 操作，但无预聚合功能。

reduceByKey：按相同 Key 聚合 Value，可在 shuffle 前预聚合，减少落盘数据量，性能优于 groupByKey ，兼具分组和聚合功能。

aggregateByKey：按不同规则进行分区内和分区间计算。

foldByKey：当分区内和分区间计算规则相同时，是 aggregateByKey 的简化版。

combineByKey：通用的对 key - value 型 rdd 进行聚集操作的函数，可让第一个数据转换结构，分区内和分区间计算规则不同。

sortByKey：对 (K, V) 的 RDD 按 key 排序，K 需实现 Ordered 接口。

join：连接两个 (K, V) 和 (K, W) 类型的 RDD，返回相同 key 对应的元素连接在一起的 (K, (V, W)) 的 RDD

leftOuterJoin：类似 SQL 左外连接。

cogroup：在 (K, V) 和 (K, W) 类型的 RDD 上调用，返回 (K, (Iterable<V>, Iterable<W>)) 类型的 RDD