尚硅谷redis7 49-51 redis管道之理论简介
前提redis事务和redis管道有点像,但本质上截然不同
49 redis管道之理论简介
面试题
如何优化频繁命令往返造成的性能瓶颈?
redis每秒可以承受8万的写操作和接近10万次以上的读操作。每条命令都发送、处理、返回,能不能批处理一次性搞定呢?
管道就是把所有命令排成一行,像流水线一样处理。
问题由来
Redis是一种基于客户端-服务端模型以及请求/响应协议的TCP服务。一个请求会遵循以下步骤:
1 客户端向服务端发送命令分四步(发送命令→命令排队→命令执行一返回结果),并监听Socket返回,通常以阻塞模式等待服务端响应。
2服务端处理命令,并将结果返回给客户端。
上述两步称为:Round Trip Time(简称RTT,数据包往返于两端的时间)
如果同时需要执行大量的命令,那么就要等待上一条命令应答后再执行,这中间不仅仅多RTT(Round Time Trip),而且还频繁调用系统IO,发送网络请求,同时需要redis调用多次read()和write()系统方法,系统方法会将数据从用户态转移到内核态,这样就会对进程上下文有比较大的影响了,性能不太好。
解决思路
管道(pipeline)可以一次性发送多条命令给服务端,服务端依次处理完完毕后,通过一条响应一次性将结果返回,通过减少客户端与redis的通信次数来实现降低往返延时时间。pipeline实现的原理是队列,先进先出特性就保证数据的顺序性。
什么是管道
Pipeline是为了解决RTT往返回时,仅仅是将命令打包一次性发送,对整个Redis的执行不造成其它任何影响
50 redis管道之案例实操
前提创建txt 文件:touch cmd.txt 并在cmd.txt写入数据。类似:
echo "SET k100 v100" >> cmd.txt
echo "SET k200 v200" >> cmd.txt
cat cmd.txt
来查看或输出 cmd.txt
文件的内容
root@zzyy myredis] # cat cmd. txt // 管道设置
set k100 v100
set k200 v200
hset k300 name atguiqu
hset k300 age 20
hset k300 gender male
lpush list 1 2 3 4 5
root@zzyy myredis]#
root@zzyy myredis] # cat cmd. txt | redis- cli - a 111111 -- pipe //作用:以管道模式连接 Redis,接受标准输入中的 RESP 格式命令批量执行。
Warning: Using a password with '- a' or '- u' option on the command line interface may not be safe.
All data transferred. Waiting for the last reply ...
Last reply received from server.
errors: 0, replies: 6
cat cmd. txt | redis- cli - a 111111 -- pipe中的
|
:是 Linux/Unix shell(终端)中的管道符号(pipe),用于将一个命令的输出传递给另一个命令作为输入。
redis管道之小总结
pipeline与原生批量命令对比
- 原生批量命令是原子性(例如:mset,mget),pipeline是非原子性
- 原生批量命令一次只能执行一种命令,pipeline支持批量执行不同命令
- 原生批命令是服务端实现,而pipeline需要服务端与客户端共同完成
pipeline事务对比
- 事务具有原子性,管道不具有原子性
- 管道一次性将多条命令发送到服务器,事务是一条一条的发,事务只有在接收到exec命令后才会执行
- 执行事务时会阻塞其他命令的执行,而执行管道中的命令时不会
使用pipeline注意事项
- pipeline缓冲的指令只是会依次执行,不保证原子性,如果执行中指令发生异常,将会继续执行后续的指令
- 使用pipeline组装的命令个数不能太多,不然数据量过大客户端阻塞的时间可能过久【要一次性执行完返回结果】,同时服务端此时也被迫回复一个队列答复,占用很多内存