ShardingSphere解析：分布式数据库中间件的分片设计与事务管理实践

引用

在现代互联网业务高速扩张的背景下，单机数据库的性能瓶颈与扩展性缺陷日益凸显。分库分表方案虽能有效解决数据存储压力，但手动实现分片路由、跨节点查询及分布式事务管理等复杂逻辑，往往导致开发成本剧增且难以维护。Apache ShardingSphere作为一款轻量级的分布式数据库中间件，通过透明化数据分片、读写分离和分布式事务支持，为开发者提供了开箱即用的企业级解决方案。

ShardingSphere以“可插拔架构”为核心设计理念，提供Sharding-JDBC（嵌入式SDK）与Sharding-Proxy（独立数据库代理）两种接入形态，兼顾高性能与多语言兼容性。其标准分片、行表达式、复合分片及Hint强制路由等策略，支持从简单取模分片到多字段联合分片的复杂场景。针对分布式事务难题，ShardingSphere整合XA强一致性事务与Seata AT柔性事务模型，覆盖金融级一致性需求与高吞吐量业务场景。然而，嵌套子查询、跨库关联等复杂SQL的解析限制，仍需开发者在表结构设计阶段规避。

ShardingSphere分布式数据库组件

ShardingSphere并非分布式数据库，只是一个分布式数据库组件，已代理的形式帮助单体数据库支持分片、分布式事务、跨节点查询。

Sharding-JDBC和Sharding-Proxy对比

Sharding-JDBC适用场景

• 应用程序是 Java 编写的。
• 需要高性能，没有额外的网络开销。
• 希望有更多的灵活性和自定义能力。
• 需要一个轻量级的嵌入式解决方案。
• 消耗数据库连接数更多。

Sharding-Proxy适用场景

• 应用程序使用多种编程语言。
• 不希望修改现有的应用程序代码。
• 需要集中管理分片和读写分离策略。
• 希望独立部署和维护数据库代理层。
• 消耗数据库连接数更少。

数据库消耗连接数对比

Sharding-JDBC消耗数据库连接数 = 应用实例数 * 分片数据库数。

Sharding-Proxy消耗数据库连接数 = 分片数据库数。

分布式事务

本地事务（默认）

完全支持非跨库事务。例如：仅分表，或分库但是路由的结果在单库中。

完全支持因逻辑异常导致的跨库事务。例如：同一事务中，跨两个库更新。更新完毕后，抛出空指针，则两个库的内容都能回滚。

不支持因网络、硬件异常导致的跨库事务。例如：同一事务中，跨两个库更新，更新完毕后、未提交之前，第一个库宕机，则只有第二个库数据提交。

XA事务

ShardingSphere整合Atomikos对XA分布式事务的支持。执行的过程中需要对所需资源进行锁定，它更加适用于执行时间确定的短事务。对于长事务来说，整个事务进行期间对数据的独占，将会对并发场景下的性能产生一定的影响。

Base事务（柔性事务）

BASE事务，属于柔性事务，数据最终一致性。ShardingSphere是基于Seata的AT模式进行二阶段提交来实现事务管理的。

分片策略

标准分片策略

标准分片策略（standard）适用于具有单一分片键的标准分片场景。该策略支持精确分片，即在SQL中包含=、in操作符，以及范围分片，包括BETWEEN AND、>、<、>=、<=等范围操作符。

通过实现PreciseShardingAlgorithm设置精准分片策略，实现RangeShardingAlgorithm设置范围分片策略。

spring:shardingsphere:sharding:#唯一库数据，当某些查询没有明确的分片规则，#或在某些情况下无法确定数据应该存储在哪个分片中的时候 #ShardingSphere会将这些操作路由到默认的数据源default-data-source-name: db0#分库default-database-strategy:standard:# 添加数据分库字段(根据字段插入数据到那个表)sharding-column: id#精确分片precise-algorithm-class-name: com.example.sharding_test.strategy.database.DatabasePreciseAlgorithm#范围分片range-algorithm-class-name: com.example.sharding_test.strategy.database.DatabaseRangeAlgorithm          #分表tables:#表名db_user:actual-data-nodes: db$->{0..1}.db_user_$->{0..2}key-generator:column: id  # 主键IDtype: SNOWFLAKE  # 生成策略雪花idtable-strategy:standard:sharding-column: id#精确分片precise-algorithm-class-name: com.example.sharding_test.strategy.table.TablePreciseAlgorithm#范围分片range-algorithm-class-name: com.example.sharding_test.strategy.table.TableRangeAlgorithm

行表达式分片策略

行表达式分片策略（inline）适用于具有单一分片键的简单分片场景，支持SQL语句中=和in操作符。它的配置相当简洁，该分片策略支持在配置属性algorithm-expression中书写Groovy表达式，用来定义对分片健的运算逻辑，无需单独定义分片算法了。

spring:shardingsphere:sharding:#唯一库数据default-data-source-name: db0#分库default-database-strategy:inline:# 添加数据分表字段(根据字段插入数据到那个表)sharding-column: id# 分片算法表达式 => 通过id取余algorithm-expression: db$->{id % 2}#分表tables:#表名db_user:actual-data-nodes: db$->{0..1}.db_user_$->{0..2}key-generator:column: id  # 主键IDtype: SNOWFLAKE  # 生成策略雪花idinline:# 添加数据分表字段(根据字段插入数据到那个表)sharding-column: id# 分片算法表达式 => 通过id取余algorithm-expression: db_user_$->{id % 3}

复合分片策略

复合分片策略（complex）适用于多个分片键的复杂分片场景，属性sharding-columns中多个分片键以逗号分隔。支持 SQL 语句中有>、>=、<=、<、=、IN 和 BETWEEN AND 等操作符。

比如：我们希望通过user_id和order_id等多个字段共同运算得出数据路由到具体哪个分片中，就可以应用该策略。

通过实现ComplexKeysShardingAlgorithm自定义分库、分表策略。

spring:shardingsphere:sharding:#唯一库数据default-data-source-name: db0#分库default-database-strategy:#复合分片complex:sharding-columns: id,agealgorithm-class-name: com.example.sharding_test.strategy.database.DatabaseComplexAlgorithm#分表tables:#表名db_user:actual-data-nodes: db$->{0..1}.db_user_$->{0..2}key-generator:column: id  # 主键IDtype: SNOWFLAKE  # 生成策略雪花idtable-strategy:#复合分片complex:sharding-columns: id,agealgorithm-class-name: com.example.sharding_test.strategy.table.TableComplexAlgorithm

Hint分片策略

该策略无需配置分片健，由外部指定分库和分表的信息，可以让SQL在指定的分库、分表中执行。

通过实现HintShardingAlgorithm自定义分片策略。

spring:shardingsphere:sharding:#唯一库数据default-data-source-name: db0#分库default-database-strategy:#行分片inline:# 添加数据分表字段(根据字段插入数据到那个表)sharding-column: id# 分片算法表达式 => 通过id取余algorithm-expression: db$->{id % 2}#分表tables:#表名db_user:actual-data-nodes: db$->{0..1}.db_user_$->{0..2}key-generator:column: id  # 主键IDtype: SNOWFLAKE  # 生成策略雪花idtable-strategy:#强制分片hint:algorithm-class-name: com.example.sharding_test.strategy.table.TableHintAlgorithm

package com.example.sharding_test.strategy.table;import org.apache.shardingsphere.api.sharding.hint.HintShardingAlgorithm;
import org.apache.shardingsphere.api.sharding.hint.HintShardingValue;
import java.util.Arrays;
import java.util.Collection;public class TableHintAlgorithm implements HintShardingAlgorithm<Integer> {@Overridepublic Collection<String> doSharding(Collection<String> collection, HintShardingValue<Integer> hintShardingValue) {String logicTableName = hintShardingValue.getLogicTableName();// 取代码中通过addTableShardingValue设置表序号String dbName = logicTableName + "_" + hintShardingValue.getValues().toArray()[0];return Arrays.asList(dbName);}
}// 测试用例，代码中通过addTableShardingValue设置表序号
@Test
void selectHintData(){HintManager manager = HintManager.getInstance();manager.addTableShardingValue("db_user",2);LambdaQueryWrapper<DbUser> wrapper = Wrappers.lambdaQuery();wrapper.eq(DbUser::getAge,34);List<DbUser> dbUsers = dbUserMapper.selectList(wrapper);dbUsers.forEach(System.out::println);
}

不支持语句

• VALUES语句不支持运算表达式

INSERT INTO tbl_name (col1, col2, …) VALUES(1+2, ?, …)

• INSERT … SELECT

INSERT INTO tbl_name (col1, col2, …) SELECT col1, col2, … FROM tbl_name WHERE col3 = ?

• HAVING

SELECT COUNT(col1) as count_alias FROM tbl_name GROUP BY col1 HAVING count_alias > ?

• UNION

SELECT * FROM tbl_name1 UNION SELECT * FROM tbl_name2

• UNION ALL

SELECT * FROM tbl_name1 UNION ALL SELECT * FROM tbl_name2

• 包含schema

SELECT * FROM ds.tbl_name1

• 同时使用普通聚合函数和DISTINCT聚合函数

SELECT SUM(DISTINCT col1), SUM(col1) FROM tbl_name

• 只支持解析一层子查询，不支持多层嵌套的子查询

SELECT COUNT(*) FROM (SELECT * FROM t_order o WHERE o.id IN (SELECT id FROM t_order WHERE status = ?))

• 跨库关联查询不被支持

---

感谢您的阅读！如果文章中有任何问题或不足之处，欢迎及时指出，您的反馈将帮助我不断改进与完善。期待与您共同探讨技术，共同进步！