cms网站后台上传图片提示图片类型错误但是类型是正确的网络稿件投稿平台

💡 NovaTube 项目引入 ShardingSphere 实现分库分表实践

随着用户量和视频数据的不断增长，NovaTube 平台面临着单表数据量过大、热点访问集中、数据库写入性能瓶颈等问题。为了支撑平台的持续增长，我们引入了 ShardingSphere-JDBC 组件，对核心表（如用户表、视频表）进行 分库分表改造，提升数据库的可扩展性和高并发处理能力。

---

一、🤔 为什么要分库分表？

在单库单表的结构下：

• 用户表：用户数超过千万时，单表查询/写入变慢；
• 视频表：视频数海量增长时，分页、推荐、索引命中率降低；
• 数据库连接数、IO 等资源逐渐成为瓶颈；
• 高并发访问易出现数据库锁竞争、主从延迟等问题。

因此，我们决定使用 ShardingSphere 对数据进行水平切分（Sharding），按规则将数据分散到多个表/库中。

---

二、🔧 技术选型与架构集成

✅ 技术选型

• 组件名称：ShardingSphere-JDBC
• 模式：客户端嵌入式中间件，无需独立部署 Proxy
• 配合使用：Spring Boot + MyBatis + Druid

🏗️ 架构位置

[Controller]↓
[Service] ↓
[MyBatis Mapper]↓
[ShardingSphere JDBC] ← 分片规则配置↓
[多数据源：user_db_0, user_db_1 ...] 

ShardingSphere-JDBC 在 JDBC 层接管 SQL 解析与路由，开发者仍使用原始 Mapper 和 SQL，无需改动业务逻辑。

---

三、📚 分库分表实战

📁 数据库结构

• 用户库：user_db_0、user_db_1
• 每库包含分表：user_0、user_1
• 规则：按用户ID取模分片，如：user_id % 2

CREATE DATABASE user_db_0;
CREATE DATABASE user_db_1;CREATE TABLE user_0 (...);
CREATE TABLE user_1 (...);

🧩 配置文件（application.yml）

spring:shardingsphere:datasource:names: ds0, ds1ds0:url: jdbc:mysql://localhost:3306/user_db_0username: rootpassword: rootds1:url: jdbc:mysql://localhost:3306/user_db_1username: rootpassword: rootrules:sharding:tables:user:actual-data-nodes: ds$->{0..1}.user_$->{0..1}table-strategy:standard:sharding-column: user_idsharding-algorithm-name: user-table-inlinedatabase-strategy:standard:sharding-column: user_idsharding-algorithm-name: user-db-inlinesharding-algorithms:user-db-inline:type: INLINEprops:algorithm-expression: ds${user_id % 2}user-table-inline:type: INLINEprops:algorithm-expression: user_${user_id % 2}props:sql-show: true

---

四、🛠️ 编码实践

Entity

public class User {private Long userId;private String username;private String email;...
}

Mapper（MyBatis）

@Mapper
public interface UserMapper {@Insert("INSERT INTO user (user_id, username, email) VALUES (#{userId}, #{username}, #{email})")void insertUser(User user);@Select("SELECT * FROM user WHERE user_id = #{userId}")User selectById(Long userId);
}

🌟 注意：ShardingSphere 会根据 user_id 自动路由到正确的库和表，SQL 无需指定库表名。

---

五、✨ 实施效果与优势

👍 引入 ShardingSphere 后的优势

问题	引入后改善
单表数据量大	水平拆分，减轻单表压力
热点写入冲突	数据分散到不同表并发写入
SQL 性能下降	路由精准、分页优化
扩展性差	可横向扩容数据库节点

---

六、📈 后续优化方向

• ✅ 支持视频表 video 的分库分表（按视频ID或上传者ID分片）
• ✅ 引入 分布式主键（如雪花算法） 确保分片唯一性
• ✅ 考虑热点用户/视频的访问模式，设计合理分片键（如 Hash+Range 结合）
• ✅ 配合缓存（Redis）缓解热点查询压力

---

七、🔚 总结

在 NovaTube 项目中引入 ShardingSphere-JDBC 分库分表方案，实现了对用户数据的高效水平拆分，极大缓解了数据量带来的性能压力，为后续平台用户量增长奠定了技术基础。

ShardingSphere 提供了“对开发透明、对数据库友好”的分布式数据中间层解决方案，是高并发、高数据量系统架构中不可或缺的一环。

---