当前位置：首页 > news >正文

esProc SPL vs DuckDB：多源数据处理谁更胜一筹？

news 来源：原创 2025/5/12 18:43:33

DuckDB 和 esProc SPL 都支持多样数据源处理，这里比较一下两者的差异。

支持的数据源种类

DuckDB 支持的数据源类型覆盖了常见的文件格式（如 CSV、Parquet、JSON、Excel）、云存储（如 AWS S3、Azure Blob Storage）以及关系型数据库（如 MySQL、PostgreSQL、SQLite），也可以通过 httpfs 访问 web 数据。此外，DuckDB 还支持一些新兴的数据湖格式（如 Delta Lake、Iceberg）。

esProc 支持的数据源类型更丰富，涵盖了更多的本地文件、数据库和远程数据源。以下是 SPL 支持的一些数据源：

本地文件：CSV、Excel、JSON、XML、Parquet、ORC 等
所有关系型数据库：MySQL、PostgreSQL、Oracle、SQL Server 等（通过 JDBC）
NoSQL 数据库：MongoDB、Cassandra、Redis 等
云存储：HDFS、AWS S3、GCS 等
远程数据源：RESTful API、WebService、FTP/SFTP 等
其他：Kafka、ElasticSearch 等

从表面的数量上看，esProc 支持的数据源种类更多，尤其是在非关系型数据库（如 MongoDB、Redis）和 Kafka、ES 等支持方面，esProc 优势明显。

从更深层看，DuckDB 的数据源接入依赖专用连接器（Connector），要针对每种数据源单独开发，复杂度很高，用户自行基于开源代码再开发的难度也很大。结果就是可用 Connector 数量明显不多，连最常见的关系数据库也支持的不足，目前能支持 MySQL、PG、SQLite 而不支持 Oracle、MSSQL 等其他常见数据库，这会导致常见的多数据源混合查询困难。比如要做 MySQL 和 Oracle 的混合计算，在没有合适 Connector 时，就只能通过 Python 曲线救国。

esProc 使用数据源 Native 接口，所有关系库都可以用 JDBC 连接，能天然支持，而其他诸如 MongoDB、Kafka 等数据源也都是基于 Native 接口做简单封装即可，开发速度很高，因而提供了更丰富的 Connetor 库。用户自己扩展也不难，可以通过预留的扩展接口实现。

有了这些丰富的支持和数据源扩展能力，使用 esProc 完成多数据源混合计算就非常容易了，MySQL+Oracle 直接算就可以，有不支持的数据源扩展起来也简单。

DuckDB 的专用 Connector 和 esProc 使用 Native 接口简单封装没有好坏之分，前者可以做更深层次的支持和优化，可以做到一定程度的透明化；后者则更加灵活，支持的数据源丰富且扩展灵活，具体倾向于哪个就取决于实际需要了。

数据类型处理

DuckDB 对 CSV 和 Parquet 文件的支持非常成熟，能够高效读取和查询这些文件。例如，DuckDB 可以直接加载 CSV 文件并进行 SQL 查询，操作简单直接：

SELECT * FROM 'data.csv' WHERE column_a > 100;

esProc 用 SPL 语法处理 CSV 文件也简单：

T("data.csv").select(column_a > 100)

除了 SPL 语法，esProc 也同时提供了 SQL 语法：

$SELECT * FROM data.csv WHERE column_a > 100;

简单情况用 SQL 查，复杂情况用 SPL，二者还可以混用。

由于 SQL 语言的限制，很多复杂计算并不好实现，DuckDB 与 Python 做了很好集成，可以通过 Python 辅助实现复杂需求，但两个体系编写调试都不一样，会产生很强的割裂感。esProc 提供 SQL 和更强大的 SPL，SQL 搞不定的运算用 SPL 就都能实现了，通常还更简单，一个体系内完成整体性更强一些。

另外一个比较大的差异在 JSON 处理上，esProc 能更好应对复杂计算以及需要保持 JSON 层次结构的场景。完成多层结构计算时，SPL 可以直接用点（.）取子层级数据，很直观，不需要像 DuckDB 依靠 UNNEST 逐层展开或者嵌套查询来保持数据结构的完整性，多层数据计算支持的非常彻底。

SPL 多层多条件数据过滤：

json(file("orders.json").read()). select(order_details.product.category=="Electronics" && order_details.sum(price*quantity)>200)

相比 DuckDB，esProc 的数据源支持更加丰富，扩展起来也容易，可以完成绝大部分数据源间的混合计算。数据处理上，esProc 除了 SQL 语法还有 SPL，能应对更多复杂情况，一个体系就能搞定，不存在 SQL 和 Python 两个体系的割裂，尤其对 JSON 类多层数据的处理，SPL 更简单直观。

免费下载