当前位置： 首页 > news >正文

Spark-SQL（二）

news 2025/7/17 9:05:35

一. 利用IDEA开发Spark-SQL

1 在pop.xml中添加spark-sql依赖

2 spark-sql测试代码

1）在idea中读取json文件创建DataFrame

2）SQL风格语法

3 ）DSL风格语法

4） RDD转换成DataFrame，DataFrame转换成DataSet

5）DataSet转换成DataFrame ，DataFrame转换成 RDD

实例演示

运行结果

二 自定义函数

UDF

创建SparkSession ，读取json文件

实例演示

运行结果

三 UDAF

任务需求:计算平均工资

方式一 :RDD

运行结果

方式二：弱类型UDAF

运行结果

方式三：强类型UDAF

实例演示

运行结果


文章转载自：
http://binominal.hfytgp.cn
http://astrodome.hfytgp.cn
http://bicycler.hfytgp.cn
http://charismatic.hfytgp.cn
http://asbestine.hfytgp.cn
http://christcross.hfytgp.cn
http://barrenwort.hfytgp.cn
http://chamberlaine.hfytgp.cn
http://campcraft.hfytgp.cn
http://bambara.hfytgp.cn
http://babycham.hfytgp.cn
http://carryout.hfytgp.cn
http://boatman.hfytgp.cn
http://appendage.hfytgp.cn
http://aesthetical.hfytgp.cn
http://apyretic.hfytgp.cn
http://bora.hfytgp.cn
http://cafeteria.hfytgp.cn
http://carmelite.hfytgp.cn
http://acceptee.hfytgp.cn
http://bizerte.hfytgp.cn
http://bouquet.hfytgp.cn
http://bacteriophage.hfytgp.cn
http://airhead.hfytgp.cn
http://autocoid.hfytgp.cn
http://bruvver.hfytgp.cn
http://belch.hfytgp.cn
http://agio.hfytgp.cn
http://caravaggioesque.hfytgp.cn
http://catfight.hfytgp.cn
http://www.dtcms.com/a/135250.html

相关文章：

  • 轻量级Python IDE使用（五）——条件分支
  • STM32F103_HAL库+寄存器学习笔记15 - 梳理CAN发送失败时，涉及哪些寄存器
  • Linux：Ext系列文件系统
  • Python网络爬虫设计（一）
  • 牛客月赛114
  • DDS函数信号发生器设计
  • Redis之RedLock算法以及底层原理
  • YOLOv2学习笔记
  • 实战指南：封装Whisper为FastAPI接口并实现高并发处理-附整合包
  • 案例驱动的 IT 团队管理：创新与突破之路：第四章 危机应对：从风险预见到创新破局-4.2 人才流失危机-4.2.3梯队建设的“洋葱模型“
  • 【MySQL】
  • 阿里FPGA XCKU3P开箱- 25G 光纤
  • 鸿蒙NEXT开发全局上下文管理类（ArkTs）
  • 进程的查看与属性
  • java分页实例
  • Python + Playwright：编写自动化测试的避坑策略
  • Typora更改快捷键 markdown语法大全
  • 关闭谷歌浏览器（Google Chrome）的自动更新可以通过以下方法实现。具体操作步骤取决于你的操作系统。
  • C#VIN 码识别接口：汽车后市场的智能数据管理利器
  • 微服务即时通信系统---（四）框架学习
  • 体系结构论文（七十一）:Quantifying the Impact of Data Encoding on DNN Fault Tolerance
  • 从JSON到SQL：基于业务场景的SQL生成器实战
  • Kubernetes（K8S）内部功能总结
  • 迁移python环境
  • 在 Redis 中存储对象类型的数据时，选择hash还是string?
  • 企业级Active Directory架构设计与运维管理白皮书
  • AI在代码Review中的应用试验与推广策略
  • word中插入图片显示不完整，怎么处理让其显示完整？
  • 智能系统：中钧科技的秘密武器
  • css hover 实现鼠标放上去后略微放大的效果