当前位置: 首页 > news >正文

如何在sheel中运行spark

// 读取文件,得到RDD

    val rdd1 = sc.textFile("hdfs://hadoop100:8020/wcinput/words.txt")

    // 将单词进行切割,得到一个存储全部单词的RDD

    val rdd2= fileRDD.flatMap(line => line.split(" "))

    // 将单词转换为元组对象,key是单词,value是数字1

    val rdd3= wordsRDD.map(word => (word, 1))

    // 将元组的value按照key来分组,对所有的value执行聚合操作(相加)

    val rdd4= wordsWithOneRDD.reduceByKey((a, b) => a + b)

    // 收集RDD的数据并打印输出结果

// 读取文件,得到RDD

    val rdd1 = sc.textFile("hdfs://hadoop100:8020/wcinput/words.txt")

    // 将单词进行切割,得到一个存储全部单词的RDD

    val rdd2= fileRDD.flatMap(line => line.split(" "))

    // 将单词转换为元组对象,key是单词,value是数字1

    val rdd3= wordsRDD.map(word => (word, 1))

    // 将元组的value按照key来分组,对所有的value执行聚合操作(相加)

    val rdd4= wordsWithOneRDD.reduceByKey((a, b) => a + b)

    // 收集RDD的数据并打印输出结果

相关文章:

  • 驱动无忧,打印随心:统信推出全新驱动下载平台
  • 从代码学习深度学习 - 全卷积神经网络 PyTorch版
  • YOLOv11融合[AAAI2025]的PConv模块
  • 技术视角下的TikTok店铺运营:从0到1的5个关键点
  • Flask+HTML+Jquery 文件上传下载
  • DeepSeek 赋能汽车全生态:从产品到服务的智能化跃迁
  • supabase 怎么新建项目?
  • Oracle 在线日志文件和控制文件损坏处理思路
  • FedTracker:为联邦学习模型提供所有权验证和可追溯性
  • 黑马k8s(五)
  • javax.servlet.Filter 介绍-笔记
  • 邀请函|PostgreSQL培训认证报名正式开启
  • FFmpeg 与 C++ 构建音视频处理全链路实战(三)—— FFmpeg 内存模型
  • 什么情况会导致JVM退出?
  • 游戏引擎学习第275天:将旋转和剪切传递给渲染器
  • 基于TouchSocket实现WebSocket自定义OpCode扩展协议
  • 【Folium】使用离线地图
  • 百度导航广告“焊死”东鹏特饮:商业底线失守,用户安全成隐忧
  • 【NLP 72、Prompt、Agent、MCP、function calling】
  • R²AIN SUITE:AI+文档切片,重塑知识管理新标杆
  • 美政府以拨款为要挟胁迫各州服从移民政策,20个州联合起诉
  • 超新星|18岁冲击中超金靴,王钰栋的未来无限可能
  • 盖茨说对中国技术封锁起到反作用
  • 外交部:中方愿根据当事方意愿,为化解乌克兰危机发挥建设性作用
  • 打击网络谣言、共建清朗家园,中国互联网联合辟谣平台2025年4月辟谣榜
  • 国内首例侵入式脑机接口系统前瞻性临床试验:受试者已能用意念玩游戏