当前位置: 首页 > news >正文

RDD行动算子案例

import org.apache.spark.{SparkConf, SparkContext}object Main2 {def main(args: Array[String]): Unit = {//打印hello worldprintln("hello world")//学习spark RDD中的行动算子//1.collect :把分布在集群中各个节点上的RDD元素收集,以数组的形式返回。//2.count:返回RDD中元素的个数//3.reduce:聚合汇总。//4.forEach:循环遍历。val conf = new SparkConf().setMaster("local[*]").setAppName("Test")val sc = new SparkContext(conf)//创建一个RDDval rdd = sc.parallelize(List(1,2,3,4,5,6,7,8,9,10))//      var arr=rdd.collect()
//      arr.foreach(println)//    println(rdd.count())//计算rdd中的元素之和
//    val r = rdd.reduce((x,y)=> x+y)
//    println(r)rdd.foreach(x=> println("元素:"+x))}
}

相关文章:

  • 论文分享➲ ICLR2025 Oral | Scaling and evaluating sparse autoencoders
  • 使用 Spring 和 Redis 创建处理敏感数据的服务
  • 剪映学习03
  • 常见图像融合算法(图像泊松融合)
  • neo4j图数据库基本概念和向量使用
  • python小区物业管理系统-小区物业报修系统
  • Missashe高数强化学习笔记(随时更新)
  • Redis 存储原理与数据模型(三)
  • 字符串---Spring字符串基本处理
  • TensorFlow中数据集的创建
  • 《时序数据库全球格局:国产与国外主流方案的对比分析》
  • 数据库的SQLSTATE[23000]异常,通过自定义异常类来提供更友好的提示信息
  • 2021-11-15 C++下一个生日天数
  • UnityDots学习(五)
  • 【大模型】LLM概念相关问题(上)
  • C语言编程--19.括号生成
  • 【数据机构】2. 线性表之“顺序表”
  • 行业 |四大痛点待破:“拆解”DeepSeek一体机
  • 布隆过滤器:高效的数据结构与应用详解
  • Node.js 24.0 正式发布:性能跃升与开发体验全面升级
  • 做微信公众平台的网站吗/软文文章
  • 餐饮网站建设教程/网络服务提供商是指
  • 邢台163/郑州专业seo推荐
  • 黄江镇网站建设/杭州网站设计制作
  • 天津美容网站建设/宁波seo在线优化方案公司
  • 湖州住房和城乡建设厅网站/线上广告推广