【Redis】NoSQL之Redis的配置和优化
关系型数据库与非关系型数据库
关系型数据库
关系型数据库是一个结构化的数据库,创建在关系型模型(二维表)的基础上;一般面向于记录;
SQL语句(标准数据查询语句)就是一种基于关系型数据库的语言,用于执行对关系型数据库中数据的检索和操作;
主流的关系型数据库有:Oracle、MySQL、PostgreSQL、SQL Server、Microsoft Access、DB2等;
以上数据库在使用时,必须先建库建表设计表结构,然后存储数据的时候按表结构去存,如果数据与表结构不匹配就会存储失败;
结构化数据库;二维表结构;使用sql语句;结构单一,存储的数据要符合表结构;
非关系型数据库
NoSQL(NoSQL = Not Only SQL),表示“不仅仅是SQL”,是非关系型数据库的总称;
除了主流的关系型数据库外的数据库,一般都认为是非关系型数据库;
不需要预先建库建表定义表结构,每条记录可以有不同的数据类型和字段个数(例如:微信聊天的文字、图片、视频和音乐都支持)
主流的NoSQL数据库有:Redis、MongBD、Hbase、Memcached等
NoSQL;表结构多样;
关系型数据库和非关系型数据库的区别
1)存储方式不同
关系型和非关系型数据库的主要差异是数据存储的方式;
关系型数据天然就是表格式的,存储在数据表的行和列中;
数据表可以彼此关联协作存储,容易提取数据。
与其相反,非关系型数据不适合存储在数据表的行和列中,而是大块组合在一起;
非关系型数据通常存储在数据集中,就像文档、键值对或者图结构;
你的数据及其特性是选择数据存储和提取方式的首要影响因素。
关系:二维表结构,行+列;查询速度快
非关:数据集,结构多样;查询速度慢
2)扩展方式不同
SQL和NoSQL数据库最大的差别可能是在扩展方式上,来支持日益增长的需求。
要支持更多并发量,SQL数据库是纵向扩展,使用更好的设备来提高处理能力;
因为数据存储在关系表中,操作的性能瓶颈可能涉及很多克服。
虽然SQL数据库有很大扩展空间,但通过提高计算机性能总会是有上限的;
而NoSQL数据库是横向扩展的;
因为非关系型数据存储天然就是分布式的,NoSQL数据库的扩展可以通过给资源池添加更多普通的数据库服务器(节点)来分担负载。
关系:纵向 比如说硬件中添加内存,提高性能
非关:横向 天然分布式,增加服务器提高性能
3)对事物的支持不同
如果数据操作需要高事务性或着复杂数据查询需要控制执行计划;
那么传统的SQL数据库从性能和稳定性方面考虑是你的最佳选择;
SQL数据库支持对事务原子性细粒度控制,并且易于回滚事务。
NoSQL数据库也可以使用事务操作,但稳定性差;
主要应用在扩展性和大数据量处理方面。
关系:支持事务和复杂查询,稳定性强,易于回滚
非关系:支持事务,负载查询差,稳定性差
非关系型数据库产生的背景
用于应对Web2.0纯动态网站类型的三高问题
1)High performance——对数据库高并发读写需求
2)Huge Storage——对海量数据高效存储与访问需求
3)High Scalability && High Availability——对数据库高可扩展性与高可用性需求
关系型数据库和非关系型数据库都有各自的特点与应用场景,两者的紧密结合将会给Web2.0的数据库发展带来新的思路。让关系数据库关注在关系上,非关系型数据库关注在存储上。
例如,在读写分离的MySQL数据库环境中,可以把经常访问的数据存储在非关系型数据库中,提升访问速度。
MySQL数据流向:用户访问或者mysql数据库执行的SQL语句(用户访问数据redis没有缓存请求mysql查询然后传回客户端,此时redis有缓存便于下次客户请求)
Mysql 高热数据——》redis
web—》redis—》mysql
CPU——》内存/缓存—》磁盘
Redis简介
Redis(远程字典服务器)是一个开源的、使用C语言编写的NoSQL数据库
Redis基于内存运行并支持持久化,采用key-value (键值对) 的存储形式,目前是分布式架构中不可或缺的一环
Redis服务器程序是单进程模型,在一台服务器上可以同时启动多个Redis进程,Redis的实际处理速度则完全依靠于主进程的执行效率。
若在服务器上只运行一个Redis进程,当多个客户端同时访问时,服务器的处理能力是会有一定程度的下降;
若在同一台服务器上开启多个Redis进程,Redis在提高并发处理能力的同时会给服务器的CPU造成很大压力。即:在实际生产环境中,需要根据实际的需求来决定开启多少个Redis进程。
若对高并发要求更高一些,可能会考虑在同一台服务器上开启多个进程。若CPU资源比较紧张,采用单进程即可。
Redis具有以下几个优点
1)具有极高的数据读写速度:数据读取的速度最高可达到110000次/s,数据写入速度最高可达到 81000 次/s。
2)支持丰富的数据类型:支持 key-value、Strings、Lists、Hashes、Sets 及 Sorted Sets 等数据类型操作。
3)支持数据的持久化:可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用。
4)原子性:Redis 所有操作都是原子性的。
5)支持数据备份:即 master-salve 模式的数据备份。
Redis作为基于内存运行的数据库,缓存是最常应用的场景之一;
除此之外,Redis常见应用场景还包括获取最新N个数据的操作、游戏排行榜类应用、计数器应用、存储关系、实时分析系统、日志记录。
Redis 有主从复制、高可用和分布式
Redis快的原因
1)Redis是一款纯内存结构,避免了磁盘I/O读写等耗时的操作
2)Redis命令处理的核心模块为单线程,减少了锁竞争,以及频繁创建线程和销毁线程的代价,减少了线程上下文切换的消耗
3)采用I/O多路复用机制(异步非阻塞),大大提高了并发效率
注:在Redis 6.0 中新增加的多线程也只是针对处理网络请求过程采用了多线性,而数据的读写命令,仍然是单线程处理。
阻塞:按顺序处理;谁先来处理谁,后续的会阻塞;
异步非阻塞:同时可以查看所有的状态,哪个完成处理哪个,不会造成阻塞
Redis的五种数据类性
1)String数据类型
string 是redis最基本的数据类型,最大能存储512MB的数据;string类型是二进制安全的,可以存储任何数据如:数字、图片、序列化对象等
2)List数据类型
列表的元素类型为string,按照插入顺序排列,在列表的头部或尾部添加元素
3)Hash数据类型
hash用于存储对象;
hash的命名方式
使用字段表示对象的属性,而字段值则存储属性值
如果hash中包含很少的字段,那么该类型的数据也将仅占用很少的磁盘空间;每一个Hash可以存储4294967295个键值对
4)set数据类型(无序集合)
无序集合,元素类型为string类型,元素具有唯一性, 不允许存在重复的成员;多个集合类型之间可以进行并集、交集和差集运算
应用范围
1、可以使用Redis的Set数据类型跟踪一些唯一性数据,比如访问某一博客的唯一IP地址信息。对于此场景,我们仅需在每次访问该博客时将访问者的IP存入Redis中,Set数据类型会自动保证IP地址的唯一性。
2、充分利用Set类型的服务端聚合操作方便、高效的特性,可以用于维护数据对象之间的关联关系。比如所有购买某–电子设备的客户ID被存储在一个指定的Set中,而购买另外一种电子产品的客户ID被存储在另外一个Set中,如果此时我们想获取有哪些客户同时购买了这两种商品时,Set的intersections 命令就可以充分发挥它的方便和效率的优势了。
5)Sorted Set数据类型 (zset、有序集合)
a、有序集合,元素类型为Sting,元素具有唯一性, 不能重复。
b、每个元素都会关联–个double类型的分数score(表示权重),可以通过权重的大小排序,元素的score可以相同。
应用范围:
可以用于一个大型在线游戏的积分排行榜。每当玩家的分数发生变化时,可以执行ZADD命 令更新玩家的分数,此后再通过ZRANGE命令获取积分TOP10的用户信息。当然我们也可以利用ZRANK命令通过username来获取玩家的排行信息。最后我们将组合使用ZRANGE和ZRANK命令快速的获取和某个玩家积分相近的其他用户的信息。
Sorted-Set类型还可用于构建索引数据。
Redis 安装部署
环境准备
systemctl stop firewalld
setenforce 0
配置环境
#安装gcc、gcc-c++ 环境和 make编译工具
[root@test2 ~]# yum -y install gcc gcc-c++ make
下载编译redis安装包
[root@test2 opt]# rz -E
rz waiting to receive.
[root@test2 opt]# ls
mysql-5.7.20 mysql-boost-5.7.20.tar.gz redis-5.0.7.tar.gz rh
[root@test2 opt]#
[root@test2 opt]# tar xf redis-5.0.7.tar.gz
[root@test2 opt]# ls
mysql-5.7.20 mysql-boost-5.7.20.tar.gz redis-5.0.7 redis-5.0.7.tar.gz rh
[root@test2 opt]# cd redis-5.0.7/
[root@test2 redis-5.0.7]# ls
00-RELEASENOTES COPYING Makefile redis.conf runtest-moduleapi src
BUGS deps MANIFESTO runtest runtest-sentinel tests
CONTRIBUTING INSTALL README.md runtest-cluster sentinel.conf utils
[root@test2 opt]# make
...省略
Hint: It's a good idea to run 'make test' ;)
make[1]: Leaving directory `/opt/redis-5.0.7/src'
[root@test2 redis-5.0.7]# make PREFIX=/usr/local/redis install
#由于Redis源码包中直接提供了 Makefile 文件,所以在解压完软件包后,不用先执行 ./configure 进行配置,可直接执行 make 与 make install 命令进行安装。
设置redis配置文件
#执行软件包提供的 install_server.sh 脚本文件设置 Redis 服务所需要的相关配置文件
[root@test2 redis-5.0.7]# cd /opt/redis-5.0.7/utils/
[root@test2 utils]# ./install_server.sh
...省略 #回车四次;端口,文件名,日志名,数据目录,
#到可执行路径
Please select the redis executable path []
#添加路径;后回车即可
/usr/local/redis/bin/redis-server
-------------------------------------------------------------------------
Selected config:
Port : 6379 #默认侦听端口为6379
Config file : /etc/redis/6379.conf #配置文件路径
Log file : /var/log/redis_6379.log #日志文件路径
Data dir : /var/lib/redis/6379 #数据文件路径
Executable : /usr/local/redis/bin/redis-server #可执行文件路径
Cli Executable : /usr/local/bin/redis-cli #客户端命令工具
-------------------------------------------------------------------------
#把redis的可执行程序文件放入路径环境变量的目录中便于系统识别
[root@test2 utils]# ln -s /usr/local/redis/bin/* /usr/local/bin/
#当 install_server.sh 脚本运行完毕,Redis 服务就已经启动,默认监听端口为 6379
[root@test2 utils]# netstat -natp | grep redis
tcp 0 0 127.0.0.1:6379 0.0.0.0:* LISTEN 42665/redis-server
Redis 服务控制
/etc/init.d/redis_6379 stop #停止
/etc/init.d/redis_6379 start #启动
/etc/init.d/redis_6379 restart #重启
/etc/init.d/redis_6379 status #状态
修改配置文件 /etc/redis/6379.conf 参数
vim /etc/redis/6379.conf
#70行,添加 监听的主机地址
bind 127.0.0.1 192.168.67.12
#93行,Redis默认的监听端口
port 6379
#137行,启用守护进程
daemonize yes
#159行,指定 PID 文件
pidfile /var/run/redis_6379.pid
#167行,日志级别
loglevel notice
#172行,指定日志文件
logfile /var/log/redis_6379.log
#重启redis
[root@test2 ~]# /etc/init.d/redis_6379 restart
Stopping ...
Waiting for Redis to shutdown ...
Redis stopped
Starting Redis server...
Redis命令工具
redis-server:用于启动 Redis 的工具
redis-benchmark:用于检测 Redis 在本机的运行效率
redis-check-aof:修复 AOF 持久化文件
redis-check-rdb:修复 RDB 持久化文件
redis-cli:Redis 命令行工具
reddis-cli 命令行工具
语法:
redis-cli -h host -p port -a password
redis-cli -h 主机地址 -p 端口号 -a 密码
-h:指定远程主机
-p:指定redis服务端口号
-a:指定密码,未设置数据库密码可以省略-a 选项
若不想添加任何选项表示,则可以使用127.0.0.1:6379 连接本机上的redis 数据库
[root@test2 ~]# redis-cli -h 192.168.67.12 -p 6379
192.168.67.12:6379>
#不指定ip则默认使用本机回环地址
[root@test2 ~]# redis-cli
127.0.0.1:6379>
#quit退出redis
127.0.0.1:6379> quit
总结
关系型数据库与非关系型数据库的差异
关系型数据库
结构化数据库;二维表结构;使用sql语句;结构单一,存储的数据要符合表结构;
与非关系型数据库
NoSQL;表结构多样;
1)存储方式不同
关系:二维表结构,行+列;查询速度快
非关:数据集,结构多样;查询速度慢
2)扩展方式不同
关系:纵向 比如说硬件中添加内存,提高性能
非关:横向 天然分布式,增加服务器提高性能
3)对事物的支持不同
关系:支持事务和复杂查询,稳定性强,易于回滚
非关系:支持事务,负载查询差,稳定性差
Redis的优点
读写速度快;
支持丰富的数据类型;
支持数据持久化;
所有操作具有原子性(事务);
支持数据备份;
Redis快的原因
纯内存运行,避免i/o读写;
核心模块为单线程,;
采用i/o多路复用(异步非阻塞)机制;
Redis的五种数据类型
string;可以存储任何数据
list;
hash;
set 无序集合;
sorted set有序集合