当前位置: 首页 > news >正文

RDD行动算子案例

import org.apache.spark.{SparkConf, SparkContext}object Main2 {def main(args: Array[String]): Unit = {//打印hello worldprintln("hello world")//学习spark RDD中的行动算子//1.collect :把分布在集群中各个节点上的RDD元素收集,以数组的形式返回。//2.count:返回RDD中元素的个数//3.reduce:聚合汇总。//4.forEach:循环遍历。val conf = new SparkConf().setMaster("local[*]").setAppName("Test")val sc = new SparkContext(conf)//创建一个RDDval rdd = sc.parallelize(List(1,2,3,4,5,6,7,8,9,10))//      var arr=rdd.collect()
//      arr.foreach(println)//    println(rdd.count())//计算rdd中的元素之和
//    val r = rdd.reduce((x,y)=> x+y)
//    println(r)rdd.foreach(x=> println("元素:"+x))}
}

相关文章:

  • 论文分享➲ ICLR2025 Oral | Scaling and evaluating sparse autoencoders
  • 使用 Spring 和 Redis 创建处理敏感数据的服务
  • 剪映学习03
  • 常见图像融合算法(图像泊松融合)
  • neo4j图数据库基本概念和向量使用
  • python小区物业管理系统-小区物业报修系统
  • Missashe高数强化学习笔记(随时更新)
  • Redis 存储原理与数据模型(三)
  • 字符串---Spring字符串基本处理
  • TensorFlow中数据集的创建
  • 《时序数据库全球格局:国产与国外主流方案的对比分析》
  • 数据库的SQLSTATE[23000]异常,通过自定义异常类来提供更友好的提示信息
  • 2021-11-15 C++下一个生日天数
  • UnityDots学习(五)
  • 【大模型】LLM概念相关问题(上)
  • C语言编程--19.括号生成
  • 【数据机构】2. 线性表之“顺序表”
  • 行业 |四大痛点待破:“拆解”DeepSeek一体机
  • 布隆过滤器:高效的数据结构与应用详解
  • Node.js 24.0 正式发布:性能跃升与开发体验全面升级
  • 宇树科技王兴兴:第一桶金来自上海,欢迎上海的年轻人加入
  • 罕见沙尘再度入川,官方:沙尘传输高度达到平流层,远超以往
  • 101条关于减重的知识,其中一定有你不知道的
  • 悬疑推理联合书单|虫神山事件
  • 康子兴评《文明的追求》|野人脚印:鲁滨逊的恐惧与文明焦虑
  • 欧盟公布对美关税反制清单,瞄准美国飞机等产品