当前位置：首页 > news >正文

SmartX 榫卯企业云平台+ StarRocks 大数据联合解决方案

news 2025/9/20 5:43:27

SmartX 榫卯企业云平台凭借弹性架构和极简运维的特性，为 StarRocks 数据库（简称“StarRocks”）用户提供灵活资源调度和按需扩展的 IT 基础架构，从而帮助其降低运维复杂度和总拥有成本。同时，该平台还可通过生产级超融合与分布式存储方案，为 StarRocks 提供稳定可靠的运行环境，保障后者在高负载条件下持续稳定运行。目前，SmartX 榫卯企业云平台已通过与 StarRocks 企业级产品——镜舟数据库的兼容性认证。

点击链接，了解更多方、案详情。

方案背景

StarRocks 支持 Shared-nothing 和 Shared-data 两种应用部署模式。其中，前者依托 BE 节点本地磁盘完成数据存储，后者则通过兼容 HDFS 或 S3 协议的共享存储系统实现。两种模式在实际应用中各有局限：

Shared-nothing：
- 资源利用率低：部署后存在物理机独占问题，只能跑 StarRocks；且 StarRocks 本身仅支持副本策略，存储利用率在 3 副本下仅 33%。
- 运维难度大：无 GUI 界面，操作需要通过命令行；监控报警需要通过 Prometheus 和 Grafana 单独做配置；换盘操作复杂；对运维人员的技术要求高。
Shared-data：
- 不适用小规模部署：不适用于如测试环境等的小规模部署的情况，否则单独一套配置存储会需要很高的成本。

针对以上背景，SmartX 联合 StarRocks 推出大数据联合解决方案，基于 Shared-data 模式，提供超融合和分布式存储（分离部署）两种 IT 基础架构方案，覆盖中小规模测试与生产集群，以及大规模湖仓一体化架构等多种应用场景。

榫卯超融合方案

在基于 SmartX 榫卯超融合 & StarRocks 的解决方案中，SmartX 通过榫卯超融合软件为 StarRocks 集群提供基于 Shared-data 模式的虚拟机运行环境，并通过常驻缓存机制将虚拟磁盘映射为 StarRocks 计算节点（CN）的本地缓存层，保障该本地缓存层在混闪物理集群中可实现全闪级性能，以提升后者的查询效率。

同时，SmartX 平台内置的分布式文件存储组件（SFS）通过 HDFS 协议为 StarRocks 提供高效的后端存储服务，并以副本或 EC 作为冗余策略保障数据的高可靠性。此外，SFS 还可为外部 Hadoop 集群提供统一存储支持，以确保多系统之间的数据互通。

方案优势及应用场景

SmartX 榫卯超融合& StarRocks 大数据解决方案通过一套硬件平台即可快速部署基于 Shared-data 架构的 StarRocks 集群，并配备统一的图形化管理界面、虚拟机模板和原生监控告警机制，可有效降低企业部署与运维压力，节省总拥有成本。同时，该方案还实现了计算与存储逻辑隔离，结合虚拟机 QoS 策略，可更好地满足中小规模集群灵活部署的需求。

榫卯分布式存储方案

在基于 SmartX 榫卯分布式存储 & StarRocks 的解决方案中，计算端与物理存储端分离部署于不同硬件集群。StarRocks 集群可在独立的计算集群中以 Shared-data 模式运行，其 CN 节点能够利用物理节点的本地 SSD 作为缓存层，从而有效提升数据访问性能。

同时，SmartX 榫卯分布式存储的文件存储组件可通过 HDFS 协议为 StarRocks 集群提供后端存储服务，并支持灵活选择副本或纠删码（EC）作为冗余策略。此外，企业外部计算端（如 Hadoop 集群）亦可接入 SmartX 榫卯分布式存储的块存储或文件存储，构建统一的数据平台。

方案优势及应用场景

SmartX 榫卯分布式存储 & StarRocks 大数据联合方案实现了计算端与存储端完全解耦，不同类型的节点可独立按需扩展，既避免资源浪费，又提升系统隔离性。此外，在开启 CN 节点的缓存机制后， StarRocks 在 Shared-data 模式下，可获得与本地盘相近的性能。同时，榫卯分布式存储还具备磁盘亚健康监测、监控报警等丰富的企业级特性，和更高的存储利用率，可帮助用户在保障可靠性的同时有效降低成本投入，因此更适合大规模集群的部署场景。

如下图所示，启用 CN 节点缓存后，SmartX 榫卯分布式存储 + StarRocks 联合解决方案的性能接近 StarRocks Shared-nothing 部署模式下的本地盘水平。