当前位置：首页 > news >正文

Spark专题-第二部分：Spark SQL 入门（2）-算子介绍-Scan/Filter/Project

news 2025/9/19 6:55:17

第二部分：Spark SQL 入门（2）-算子介绍-Scan/InMemoryTableScan

其实在开始这部分之前，我思考了很久，到底该如何把算子教给读者，如果按其他的教学文章，应该会挨个罗列并展示用途，但我就自己学习经验来说，这种方式似乎并不高效，于是我打算把算子和sql联系起来，尽量避免抽象，如果各位有什么好的建议，请不吝赐教

1. HiveTableScan-数据扫描算子

我相信各位读者对这种sql应该不会觉得困难，当然了，实际工作中就别写*了，我这里偷个懒，需要哪些字段就写哪些字段，尽量减少查询的负担，能更快一些

SELECT * FROM tableA;

而这句最简单的select语句其实通过spark ui查看的话，就会是下面这张图，实际的表名和字段名都粗暴打码，不影响查看算子
在这里插入图片描述

//底层实际上会生成如下类型的扫描节点
val scan = sparkSession.sql("SELECT * FROM tableA")
//执行计划中会显示为：
//HiveTableScan [col1#0L, col2#1, ...], HiveTableRelation ...

说明：

用于从 Hive 表中读取数据
显示所有选中字段（包括分区字段）
对应 `DataSourceScanExec` 或 `HiveTableScanExec` 物理算子

2. InMemoryTableScan-内存查询算子

但其实select语句还可能对应 InMemoryTableScan 阶段：
在这里插入图片描述

// 如果该表已被缓存或物化，可能会触发内存扫描
val df = spark.table("tableA")
df.cache() // 或 persist()
df.select("*").explain()
// 执行计划中会出现：
// InMemoryTableScan [col1#0L, col2#1, ...]

说明：

表示从 Spark 内存中读取缓存数据
通常出现在查询已被缓存（`cache()`/`persist()`）的表时
可显著提升查询性能，避免重复读取外部数据

对比：HiveTableScan vs InMemoryTableScan

特性	HiveTableScan	InMemoryTableScan
数据源	Hive 外部表	Spark 内存数据
IO 开销	磁盘/网络 IO	内存访问
执行速度	较慢 (13s)	较快 (1s)
字段处理	全字段扫描	选择性字段扫描
使用场景	初始数据加载	缓存数据重用

3. Filter - 数据过滤算子

SELECT [部分字段]
FROM tabelB
WHERE day = '20250917' AND [其他过滤条件]

在这里插入图片描述

功能与性质：

条件过滤：根据WHERE子句中的条件过滤数据行
谓词下推：尽可能在数据扫描阶段提前执行过滤
选择率：过滤后保留的数据比例影响查询性能

执行详情：

输入：671,768行（来自Scan阶段）
输出：569,329行
过滤率：约15.2%（过滤掉102,439行）

优化机制：

使用统计信息优化过滤顺序（高选择率条件优先）
支持多种过滤条件（等于、范围、IN等）

4. Project - 字段裁剪算子

功能与性质：

字段选择：只选择查询中指定的列，减少数据传输量
表达式计算：处理SELECT中的计算表达式和函数调用
类型转换：处理数据类型的转换和格式化

优化机制：

消除不必要的字段传输
合并多个投影操作
延迟计算直到必要时

5. 完整执行流程

6. 性能优化建议

6.1 Scan优化

-- 使用分区过滤
WHERE day = '20250917'-- 使用列裁剪（只选择需要的列）
SELECT col1, col2 FROM table-- 使用合适的文件格式（如Parquet）

6.2 Filter优化

-- 将高选择率条件放在前面
WHERE high_selectivity_condition AND low_selectivity_condition-- 避免在过滤条件中使用复杂函数
WHERE date_column = '2025-09-18'  -- 好
WHERE DATE_FORMAT(date_column, 'yyyy-MM-dd') = '2025-09-18'  -- 差

6.3 Project优化

-- 只选择需要的字段
SELECT col1, col2 FROM table  -- 好
SELECT * FROM table  -- 差-- 避免在SELECT中使用复杂计算
SELECT simple_column FROM table  -- 好
SELECT complex_calculation(column) FROM table  -- 可能影响性能