当前位置: 首页 > news >正文

RDD行动算子案例

import org.apache.spark.{SparkConf, SparkContext}object Main2 {def main(args: Array[String]): Unit = {//打印hello worldprintln("hello world")//学习spark RDD中的行动算子//1.collect :把分布在集群中各个节点上的RDD元素收集,以数组的形式返回。//2.count:返回RDD中元素的个数//3.reduce:聚合汇总。//4.forEach:循环遍历。val conf = new SparkConf().setMaster("local[*]").setAppName("Test")val sc = new SparkContext(conf)//创建一个RDDval rdd = sc.parallelize(List(1,2,3,4,5,6,7,8,9,10))//      var arr=rdd.collect()
//      arr.foreach(println)//    println(rdd.count())//计算rdd中的元素之和
//    val r = rdd.reduce((x,y)=> x+y)
//    println(r)rdd.foreach(x=> println("元素:"+x))}
}
http://www.dtcms.com/a/181251.html

相关文章:

  • 论文分享➲ ICLR2025 Oral | Scaling and evaluating sparse autoencoders
  • 使用 Spring 和 Redis 创建处理敏感数据的服务
  • 剪映学习03
  • 常见图像融合算法(图像泊松融合)
  • neo4j图数据库基本概念和向量使用
  • python小区物业管理系统-小区物业报修系统
  • Missashe高数强化学习笔记(随时更新)
  • Redis 存储原理与数据模型(三)
  • 字符串---Spring字符串基本处理
  • TensorFlow中数据集的创建
  • 《时序数据库全球格局:国产与国外主流方案的对比分析》
  • 数据库的SQLSTATE[23000]异常,通过自定义异常类来提供更友好的提示信息
  • 2021-11-15 C++下一个生日天数
  • UnityDots学习(五)
  • 【大模型】LLM概念相关问题(上)
  • C语言编程--19.括号生成
  • 【数据机构】2. 线性表之“顺序表”
  • 行业 |四大痛点待破:“拆解”DeepSeek一体机
  • 布隆过滤器:高效的数据结构与应用详解
  • Node.js 24.0 正式发布:性能跃升与开发体验全面升级
  • 【AI论文】ZeroSearch:在不搜索的情况下激励LLM的搜索能力
  • 基于CNN的猫狗图像分类系统
  • MQTT:轻量级物联网通信协议详解
  • 在ISOLAR A/B 工具使用UDS 0x14服务清除单个DTC故障的配置
  • 大模型提示词策略
  • 电子电路:白炽灯发光能说明电子正在消散消失吗?
  • Open CASCADE学习|实现裁剪操作
  • Kotlin中Lambda表达式和匿名函数的区别
  • ISP流程介绍(Rgb格式阶段)
  • 【数据结构】线性表--链表(二)