当前位置: 首页 > news >正文

到底可不可以用jion?jion如何优化?

前言

jion其实是可以使用的 但是一定要选择小表作为驱动表。


到底可不可以用jion?jion如何优化?

  • 前言
  • jion的执行过程涉及到两个算法
    • 一个是simple nested
    • 另一个算法是Black nested
  • jion语句优化
  • MRR优化
  • 如果一个查询,被驱动表很大且都是冷数据,那么会导致什么问题呢?

jion的执行过程涉及到两个算法

一个是simple nested

A表有N行,B表有M行
假设是 dbA jion dbB on dbA.a =dbB.a

如果在B表的a字段上有索引,那么执行流程就是,扫描B表,然后扫描B表的索引拿到结果,在索引上找到一个数据基本是log2的
扫描行数为 N+Nlog2的M次方。
因此驱动表越小 效率越高。
如果没有索引的话 就需要M
N次查询了。

另一个算法是Black nested

如果NM 很大。MySQL并不会这么运行,而是使用Black nested 。
执行流程是,先把A表的数据放到jion_buffer中,然后取出B表数据做一一对比。
这个过程在内存中效率会高一些。
如果jion_buffer_size设置大小不够放下A表。就会分多次x对比。这样多等值对比的次数还是N
M
但是需要扫描B表x次。
x与N呈现正相关。
因此总数为N+N的某种正相关*M
因此也是小表做驱动表更快。

jion语句优化

MRR优化

首先理解MRR优化,就是虽然在普通索引上去主键索引上查找的时候是一个一个查询的。

但是如果查询之间是有顺序的,那么也会加快查询,
因此如果在查询之前添加了一个排序,一般主键索引都是单调递增的。

所以排序之后,可以更快的查询。

利用这个思想:jion查询时simple nested 可以将驱动表的结构排序之后,再到被驱动表里查询会加快查询。这种方式称为ack。

那么对于black nested如何优化呢,就是变成ack,通过加索引或者改造sql或者通过业务侧分开查询创建hash来实现。

如果一个查询,被驱动表很大且都是冷数据,那么会导致什么问题呢?

  1. 会有大量io操作,影响性能

  2. 会导致buffer_pool失效,因为如果3/8分区时,jion之后被驱动表可能会在一秒内进行多次扫描,导致冷数据替换掉了3的部分,导致整个缓存命中率下降。

  3. 进行N*M次对比,占用cpu资源。

http://www.dtcms.com/a/296928.html

相关文章:

  • MapStruct类型转换接口未自动注入到spring容器中
  • Web前端:JavaScript find()函数内判断
  • Redis 单线程模型与多线程机制
  • kettle 8.2 ETL项目【二、加载数据】
  • 「Linux命令基础」用户和用户组实训
  • rust-方法语法
  • 背包DP之分组背包
  • mac电脑(m1) - flask断点失效
  • Datawhale AI数据分析 作业2
  • 力扣1287:有序数组中出现次数超过25%的元素
  • Linux join命令快速从大文件中匹配内容
  • 构建 Odoo 18 移动端导航:深入解析 OWL 框架、操作与服务
  • P1013 [NOIP 1998 提高组] 进制位
  • 【算法】递归、搜索与回溯算法入门
  • 星痕共鸣数据分析2
  • 【Guava】1.1.我的报告
  • 移动前端开发与 Web 前端开发的区别
  • 电商接口常见误区与踩坑提醒
  • 3.SOAP
  • 跨境支付入门~国际支付结算(风控篇)
  • 酷狗最新版KG-DEVID 算法分析
  • Unity 时间抗锯齿(Temporal Antialiasing, TAA)技术解析
  • T-RO顶刊|单视角“找相似”,大阪大学提出新型点云描述符(C-FPFH),杂乱场景一抓一个准!
  • 2025国自然青基、面上会评结束,资助率或创新低,跌破11.19%!
  • 期货交易系统用户操作与应用逻辑全析
  • springboot实战demo2
  • 图像识别任务的边界正在改变
  • Linux系统编译安装PostgreSQL 12.8(含报错处理与配置热加载)
  • C++标准库算法实战指南
  • Linux 进程间通信:共享内存详解