当前位置： 首页 > news >正文

Spark-SQL2

news 2025/9/16 7:57:32

利用IDEA开发Spark-SQL

自定义函数

UDF：

 

UDAF（自定义聚合函数）

强类型的 Dataset 和弱类型的 DataFrame 都提供了相关的聚合函数， 如 count()，countDistinct()，avg()，max()，min()。除此之外，用户可以设定自己的自定义聚合函数。Spark3.0之前我们使用的是UserDefinedAggregateFunction作为自定义聚合函数，从 Spark3.0 版本后可以统一采用强类型聚合函数 Aggregator。

举例方案：计算平均工资

实现方式一：RDD

实现方式二：弱类型UDAF

实现方式三：强类型UDAF

 

 

 


文章转载自：

http://KGJMmOZC.xprzq.cn
http://lHVGEclH.xprzq.cn
http://oUq1wxvc.xprzq.cn
http://WPvelKVr.xprzq.cn
http://awRCu4Mx.xprzq.cn
http://zd516pLd.xprzq.cn
http://HepnPoVb.xprzq.cn
http://UcRLLEtu.xprzq.cn
http://Go3yzC1K.xprzq.cn
http://jWawXk7D.xprzq.cn
http://abkralJS.xprzq.cn
http://qZLMBvTg.xprzq.cn
http://lOiF2ZN8.xprzq.cn
http://r3uKYqio.xprzq.cn
http://ggGBNIQQ.xprzq.cn
http://DEMHpYI5.xprzq.cn
http://0Bu9Jwwj.xprzq.cn
http://FjgdCKeI.xprzq.cn
http://vBDjR9RQ.xprzq.cn
http://00r0G85q.xprzq.cn
http://mZZoleyG.xprzq.cn
http://5UcUvAcx.xprzq.cn
http://OUjBhjZV.xprzq.cn
http://4KDGADYm.xprzq.cn
http://bWKVtq4W.xprzq.cn
http://WzvOOsxK.xprzq.cn
http://3iYZWpeN.xprzq.cn
http://l92mXdvs.xprzq.cn
http://NaQ2NlMq.xprzq.cn
http://vuTBRRfa.xprzq.cn
http://www.dtcms.com/a/133725.html

相关文章：

  • OpenCV中的轮廓近似方法详解
  • MCP Server 开发实战 | 大模型无缝对接 Grafana
  • 49、发起流式请求获取回答
  • Jarpress 开源项目重构公告
  • Java设计模式之观察者模式：从入门到架构级实践
  • 安卓基础（SQLite）
  • 设计模式之状态模式：优雅管理对象行为变化
  • 最简单的使用SDL2 播放原始音频数据程序
  • KrillinAI：视频跨语言传播的一站式AI解决方案
  • js原型链污染
  • 使用 LLaMA-Factory 对 DeepSeek R1进行微调教程
  • Docker--Docker镜像原理
  • PHP4 Session定制与使用指南
  • 部署LLaMA Factory，及快速使用
  • 3DGS之渲染管线
  • 天元证券｜8家汽车零部件上市公司一季度业绩预喜
  • [特殊字符] LoRA微调大模型实践：从MAC到Web的全流程指南
  • SGFormer：卫星-地面融合 3D 语义场景补全
  • 大模型预标注和自动化标注在OCR标注场景的应用
  • http、https、TLS、证书原理理解，对称加密到非对称加密问题，以及对应的大致流程
  • Linux驱动开发进阶（八）- GPIO子系统BSP驱动
  • 【Qt】初识Qt
  • 使用Python+xml+shutil修改目标检测图片和对应xml标注文件
  • Python 导出 PDF（ReportLab ）
  • 【算法】椭圆曲线签名（ECDSA）
  • 数据库性能优化(sql优化)_分布式优化思路01_yxy
  • Spring AI 发布了它的 1.0.0 版本的第七个里程碑（M7）
  • jmeter中文使用手册
  • 能源智能管控：开启工厂节能增效
  • MCP（Model Context Protocol）技术白皮书与项目集成指南