系统设计（数据库/微服务）

---

---

项目地址

• 教程作者：
• 教程地址：

• 代码仓库地址：

• 所用到的框架和插件：

dbt 
airflow

一、数据架构

1.1 Query Separation

1. 场景

• 实际场景：

  1. 工单查询，表中有几千万数据，并且需要关联十几个子表，查询速度30-40s
  2. 由于有些工单数据是诉讼书，所以需要频繁查询，不能使用冷热分离
  3. 采用查询分离的解决方案，更新数据放在一个系统里，查询数据库放在另外一个数据库
  4. 由于数据更新都是单表，所以很快
  5. 数据查询则通过一个大数据量的查询引擎，将速度减少到了500s

• 什么时候需要使用：

2. 实现思路

触发查询分离

1. 直接串行修改代码：在写入数据的时候，写库和查库双写
2. 修改代码引入MQ：写入数据，通过mq异步同步到查库
3. 数据库的CDC：直接监控数据的变更

引入