当前位置: 首页 > news >正文

如何在sheel中运行spark

// 读取文件,得到RDD

    val rdd1 = sc.textFile("hdfs://hadoop100:8020/wcinput/words.txt")

    // 将单词进行切割,得到一个存储全部单词的RDD

    val rdd2= fileRDD.flatMap(line => line.split(" "))

    // 将单词转换为元组对象,key是单词,value是数字1

    val rdd3= wordsRDD.map(word => (word, 1))

    // 将元组的value按照key来分组,对所有的value执行聚合操作(相加)

    val rdd4= wordsWithOneRDD.reduceByKey((a, b) => a + b)

    // 收集RDD的数据并打印输出结果

// 读取文件,得到RDD

    val rdd1 = sc.textFile("hdfs://hadoop100:8020/wcinput/words.txt")

    // 将单词进行切割,得到一个存储全部单词的RDD

    val rdd2= fileRDD.flatMap(line => line.split(" "))

    // 将单词转换为元组对象,key是单词,value是数字1

    val rdd3= wordsRDD.map(word => (word, 1))

    // 将元组的value按照key来分组,对所有的value执行聚合操作(相加)

    val rdd4= wordsWithOneRDD.reduceByKey((a, b) => a + b)

    // 收集RDD的数据并打印输出结果

http://www.dtcms.com/a/188346.html

相关文章:

  • 驱动无忧,打印随心:统信推出全新驱动下载平台
  • 从代码学习深度学习 - 全卷积神经网络 PyTorch版
  • YOLOv11融合[AAAI2025]的PConv模块
  • 技术视角下的TikTok店铺运营:从0到1的5个关键点
  • Flask+HTML+Jquery 文件上传下载
  • DeepSeek 赋能汽车全生态:从产品到服务的智能化跃迁
  • supabase 怎么新建项目?
  • Oracle 在线日志文件和控制文件损坏处理思路
  • FedTracker:为联邦学习模型提供所有权验证和可追溯性
  • 黑马k8s(五)
  • javax.servlet.Filter 介绍-笔记
  • 邀请函|PostgreSQL培训认证报名正式开启
  • FFmpeg 与 C++ 构建音视频处理全链路实战(三)—— FFmpeg 内存模型
  • 什么情况会导致JVM退出?
  • 游戏引擎学习第275天:将旋转和剪切传递给渲染器
  • 基于TouchSocket实现WebSocket自定义OpCode扩展协议
  • 【Folium】使用离线地图
  • 百度导航广告“焊死”东鹏特饮:商业底线失守,用户安全成隐忧
  • 【NLP 72、Prompt、Agent、MCP、function calling】
  • R²AIN SUITE:AI+文档切片,重塑知识管理新标杆
  • 《驱动开发硬核特训 · 专题篇》:深入理解 I2C 子系统
  • Spring Boot 的自动配置为 Spring MVC 做了哪些事情?
  • 竞业禁止协议中AI技能限制的深度剖析
  • Java jar包程序 启动停止脚本 shell bash
  • STM32 __main汇编分析
  • 工具学习_VirusTotal使用
  • 前端学习(2)—— CSS详解与使用
  • 如何在 CentOS 7 虚拟机上配置静态 IP 地址并保持重启后 SSH 连接
  • OpenHarmony平台驱动开发(十五),SDIO
  • Android中LinearLayout线性布局使用详解