「MySQL 数据库优化」降低存储与查询成本的最佳实践
网罗开发
（小红书、快手、视频号同名）
大家好，我是 展菲，目前在上市企业从事人工智能项目研发管理工作，平时热衷于分享各种编程领域的软硬技能知识以及前沿技术，包括iOS、前端、Harmony OS、Java、Python等方向。在移动端开发、鸿蒙开发、物联网、嵌入式、云原生、开源等领域有深厚造诣。
图书作者：《ESP32-C3 物联网工程开发实战》
图书作者：《SwiftUI 入门，进阶与实战》
超级个体：COC上海社区主理人
特约讲师：大学讲师，谷歌亚马逊分享嘉宾
科技博主：极星会首批签约作者
文章目录
- 摘要
- 引言
- 索引优化
- 选择合适的索引
- MySQL 索引
- MongoDB 索引
- 避免冗余索引
- 数据冗余优化
- 规范化（Normalization）
- 示例
- 去重与压缩
- 冷热数据管理
- 冷存储 vs. 热存储
- 自动归档策略
- PostgreSQL 归档
- 缓存优化：降低数据库查询成本
- Redis 缓存查询结果
- 使用 CDN 缓存静态资源
- QA 环节
- Q1: 如何选择适合的索引类型？
- Q2: 数据存储如何划分冷热数据？
- 总结
- 参考资料
摘要
数据库存储和查询成本高，特别是数据量大的企业面临巨大的挑战。本篇文章将探讨 索引优化、减少冗余数据、冷热存储管理 以及 缓存（Redis、CDN） 在优化数据库访问中的作用。通过实际示例，帮助企业优化数据库性能，降低成本。
引言
现代应用程序依赖数据库来存储和查询海量数据。然而，数据库成本包括 存储成本、查询成本、索引维护成本等，随着数据增长，成本不断攀升。因此，优化数据库至关重要。
本文将介绍 MySQL、PostgreSQL、MongoDB、DynamoDB 的 索引优化策略，如何 减少冗余数据，如何 分层存储冷热数据 以及 利用 Redis 和 CDN 进行缓存优化。
索引优化
选择合适的索引
索引能大幅提高查询性能，但过多索引会影响写入性能。因此，需要合理选择索引类型。
MySQL 索引
CREATE INDEX idx_user_email ON users(email);
MongoDB 索引
db.users.createIndex({ email: 1 });
避免冗余索引
冗余索引会占用存储并降低更新速度，可使用 EXPLAIN 或 ANALYZE 进行分析。
EXPLAIN ANALYZE SELECT * FROM users WHERE email = 'test@example.com';
数据冗余优化
规范化（Normalization）
数据库表设计应尽量避免冗余存储，提高数据一致性。
示例
CREATE TABLE orders (
id SERIAL PRIMARY KEY,
user_id INT REFERENCES users(id),
product_id INT REFERENCES products(id)
);
去重与压缩
利用 UNIQUE 约束避免重复数据。
ALTER TABLE users ADD CONSTRAINT unique_email UNIQUE (email);
冷热数据管理
冷存储 vs. 热存储
- 热存储（Hot Storage）：适用于高频访问数据（如交易数据）。
- 冷存储（Cold Storage）：适用于历史归档数据（如日志数据）。
自动归档策略
PostgreSQL 归档
CREATE TABLE orders_archive (LIKE orders);
INSERT INTO orders_archive SELECT * FROM orders WHERE created_at < NOW() - INTERVAL '1 year';
DELETE FROM orders WHERE created_at < NOW() - INTERVAL '1 year';
缓存优化：降低数据库查询成本
Redis 缓存查询结果
import redis
import psycopg2
r = redis.Redis(host='localhost', port=6379, db=0)
conn = psycopg2.connect("dbname=test user=postgres")
cursor = conn.cursor()
def get_user(user_id):
cached_user = r.get(f'user:{user_id}')
if cached_user:
return cached_user
cursor.execute("SELECT * FROM users WHERE id = %s", (user_id,))
user = cursor.fetchone()
r.setex(f'user:{user_id}', 3600, str(user)) # 缓存 1 小时
return user
使用 CDN 缓存静态资源
location /static/ {
root /var/www/html;
expires 30d;
add_header Cache-Control "public, max-age=2592000";
}
QA 环节
Q1: 如何选择适合的索引类型？
- B-Tree 索引：适用于大多数查询。
- Hash 索引：适用于等值查询。
- 全文索引：适用于文本搜索。
Q2: 数据存储如何划分冷热数据？
- 访问频繁的数据保留在主数据库
- 历史数据迁移至冷存储（如 AWS S3、HDFS）
总结
- 索引优化 可提高查询速度，避免冗余索引。
- 减少冗余数据，采用数据规范化和去重策略。
- 冷热数据管理，优化存储成本。
- 缓存（Redis、CDN） 降低数据库查询压力。
✅ 自动化数据库优化策略（AI 驱动索引优化） ✅ 结合大数据技术（如 Apache Spark）进行冷热数据管理 ✅ 更多数据库引擎优化探索（如 NewSQL 方案）
参考资料
- MySQL 官方文档
- PostgreSQL 官方文档
- MongoDB 官方文档
- Redis 官方文档