知识总结"/>
Redis 知识总结
Redis 知识总结
根据尚硅谷官网视频学习整理
1. NoSql入门与概述
1.1 入门概述
1.1.1 互联网时代背景下 大机遇,为什么用nosql
1.1.1.1 单机MySQL的美好年代
在90年代,一个网站的访问量一般都不大,用单个数据库完全可以轻松应付。在那个时候,更多的都是静态网页,动态交互类型的网站不多。
上述架构下,我们来看看数据存储的瓶颈是什么?
-
数据量的总大小 一个机器放不下时
-
数据的索引(B+ Tree)一个机器的内存放不下时
-
访问量(读写混合)一个实例不能承受
如果满足了上述1 or 3个,则需要改变,需要更好的技术来弥补
1.1.1.2 Memcached(缓存)+MySQL+垂直拆分
后来,随着访问量的上升,几乎大部分使用MySQL架构的网站在数据库上都开始出现了性能问题,web程序不再仅仅专注在功能上,同时也在追求性能。程序员们开始大量的使用缓存技术来缓解数据库的压力,优化数据库的结构和索引。开始比较流行的是通过文件缓存来缓解数据库压力,但是当访问量继续增大的时候,多台web机器通过文件缓存不能共享,大量的小文件缓存也带了了比较高的IO压力。在这个时候,***Memcached就自然的成为一个非常时尚的技术产品。***
Memcached作为一个独立的分布式的缓存服务器,为多个web服务器提供了一个共享的高性能缓存服务,在Memcached服务器上,又发展了根据hash算法来进行多台Memcached缓存服务的扩展,然后又出现了一致性hash来解决增加或减少缓存服务器导致重新hash带来的大量缓存失效的弊端。
1.1.1.3 Mysql主从读写分离
由于数据库的写入压力增加,Memcached只能缓解数据库的读取压力。读写集中在一个数据库上让数据库不堪重负,大部分网站开始使用主从复制技术来达到读写分离,以提高读写性能和读库的可扩展性。Mysql的master-slave模式成为这个时候的网站标配了。
1.1.1.4 分表分库+水平拆分+mysql集群
在Memcached的高速缓存,MySQL的主从复制,读写分离的基础之上,这时MySQL主库的写压力开始出现瓶颈,而数据量的持续猛增,由于MyISAM使用表锁,在高并发下会出现严重的锁问题,大量的高并发MySQL应用开始使用InnoDB引擎代替MyISAM。
同时,开始流行使用分表分库来缓解写压力和数据增长的扩展问题。这个时候,分表分库成了一个热门技术,是面试的热门问题也是业界讨论的热门技术问题。也就在这个时候,MySQL推出了还不太稳定的表分区,这也给技术实力一般的公司带来了希望。虽然MySQL推出了MySQL Cluster集群,但性能也不能很好满足互联网的要求,只是在高可靠性上提供了非常大的保证。
1.1.1.5 MySQL的扩展性瓶颈
MySQL数据库也经常存储一些大文本字段,导致数据库表非常的大,在做数据库恢复的时候就导致非常的慢,不容易快速恢复数据库。比如1000万4KB大小的文本就接近40GB的大小,如果能把这些数据从MySQL省去,MySQL将变得非常的小。关系数据库很强大,但是它并不能很好的应付所有的应用场景。MySQL的扩展性差(需要复杂的技术来实现),大数据下IO压力大,表结构更改困难,正是当前使用MySQL的开发人员面临的问题。
1.1.1.6 今天是什么样子?
1.1.1.7 为什么用NoSQL
今天我们可以通过第三方平台(如:Google,Facebook等)可以很容易的访问和抓取数据。用户的个人信息,社交网络,地理位置,用户生成的数据和用户操作日志已经成倍的增加。***我们如果要对这些用户数据进行挖掘,那SQL数据库已经不适合这些应用了,*** NoSQL数据库的发展也却能很好的处理这些大的数据。
1.1.2 是什么
NoSQL(NoSQL = Not Only SQL ),意即“不仅仅是SQL”,泛指非关系型的数据库。随着互联网web2.0网站的兴起,传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题,而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战,尤其是大数据应用难题,包括超大规模数据的存储。
例如:谷歌或Facebook每天为他们的用户收集万亿比特的数据,这些类型的数据存储不需要固定的模式,无需多余操作就可以横向扩展。
1.1.3 能干嘛
1.1.3.1 易扩展
NoSQL数据库种类繁多,但是一个共同的特点都是去掉关系数据库的关系型特性。
数据之间无关系,这样就非常容易扩展。也无形之间,在架构的层面上带来了可扩展的能力。
1.1.3.2 大数据量高性能
NoSQL数据库都具有非常高的读写性能,尤其在大数据量下,同样表现优秀。这得益于它的无关系性,数据库的结构简单。
一般MySQL使用Query Cache,每次表的更新Cache就失效,是一种大粒度的Cache,在针对web2.0的交互频繁的应用,Cache性能不高。而NoSQL的Cache是记录级的,是一种细粒度的Cache,所以NoSQL在这个层面上来说就要性能高很多了
1.1.3.3 多样灵活的数据模型
NoSQL无需事先为要存储的数据建立字段,随时可以存储自定义的数据格式。而在关系数据库里,增删字段是一件非常麻烦的事情。如果是非常大数据量的表,增加字段简直就是一个噩梦
1.1.3.4 传统RDBMS VS NOSQL
RDBMS vs NoSQL
RDBMS
- 高度组织化结构化数据
- 结构化查询语言(SQL)
- 数据和关系都存储在单独的表中。
- 数据操纵语言,数据定义语言
- 严格的一致性
- 基础事务
NoSQL
- 代表着不仅仅是SQL
- 没有声明性查询语言
- 没有预定义的模式
-键 - 值对存储,列存储,文档存储,图形数据库 - 最终一致性,而非ACID属性
- 非结构化和不可预知的数据
- CAP定理
- 高性能,高可用性和可伸缩性
1.1.4 去哪下
Redis
Memcache
Mongdb
1.1.5 怎么玩
KV
Cache
Persistence
…
1.2 3V+3高
1.2.1 大数据时代的3V
- 海量Volume
- 多样Variety
- 实时Velocity
1.2.2 互联网需求的3高
- 高并发
- 高可扩
- 高性能
1.3 当下的NoSQL经典应用
1.3.1 当下的应用是sql和nosql一起使用
1.3.2 阿里巴巴中文站商品信息如何存放
看看阿里巴巴中文网站首页 以女装/女包包为例1 商品基本信息2 商品描述、详情、评价信息(多文字类)3 商品的图片4 商品的关键字5 商品的波段性的热点高频信息6 商品的交易、价格计算、积分累计
总结大型互联网应用(大数据、高并发、 多样数据类型)的难点和解决方案
- 难点
数据类型多样性
数据源多样性和变化重构
数据源改造而数据服务平台不需要大面积重构 - 解决办法
给学生画图介绍EAI和统一数据平台服务层
阿里、淘宝干了什么?UDSL
是什么
什么样
映射
API
热点缓存
…
1.4 NoSQL数据模型简介
1.4.1 对比关系型数据库和非关系型数据库
以一个电商客户、订单、订购 、地址模型为例:
- 传统的关系型数据库你如何设计?ER图(1:1/1:N/N:N,主外键等常见)
-
Nosql你如何设计
- 什么是BSON
BSON()是一种类json的一种二进制形式的存储格式,简称Binary JSON,
它和JSON一样,支持内嵌的文档对象和数组对象- 给学生用BSon画出构建的数据模型
{"customer":{"id":1136,"name":"Z3","billingAddress":[{"city":"beijing"}],"orders":[{"id":17,"customerId":1136,"orderItems":[{"productId":27,"price":77.5,"productName":"thinking in java"}],"shippingAddress":[{"city":"beijing"}]"orderPayment":[{"ccinfo":"111-222-333","txnid":"asdfadcd334","billingAddress":{"city":"beijing"}}],}]}
}
- 两者对比,问题和难点
-
什么上述的情况可以用聚合模型来处理
- 高并发的操作是不太建议有关联查询的, 互联网公司用冗余数据来避免关联查询
- 分布式事务是支持不了太多的并发的
-
启发学生,想想关系模型数据库你如何查? 如果按照我们新设计的BSon,是不是查询起来很可爱
1.4.2 聚合模型
- KV键值
- Bson
- 列族
顾名思义,是按列存储数据的。最大的特点是方便存储结构化和半结构化数据,方便做数据压缩,对针对某一列或者某几列的查询有非常大的IO优势。
- 图形
1.5 NoSQL数据库的四大分类
1.5.1 KV键值:典型介绍
新浪:BerkeleyDB+redis
美团:redis+tair
阿里、百度:memcache+redis
1.5.2 文档型数据库(bson格式比较多):典型介绍
CouchDB
MongoDB
MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。
MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。
1.5.3 列存储数据库
Cassandra, HBase
分布式文件系统
1.5.4 图关系数据库
它不是放图形的,放的是关系比如:朋友圈社交网络、广告推荐系统
社交网络,推荐系统等。专注于构建关系图谱
Neo4J, InfoGrid
1.5.5 四者对比
1.6 在分布式数据库中CAP原理CAP+BASE
1.6.1 传统的ACID分别是什么
- A (Atomicity) 原子性
- C (Consistency) 一致性
- I (Isolation) 独立性
- D (Durability) 持久性
1.6.2 CAP
- C:Consistency(强一致性)
- A:Availability(可用性)
- P:Partition tolerance(分区容错性)
1.6.3 CAP的3进2
CAP理论就是说在分布式存储系统中,最多只能实现上面的两点。
而由于当前的网络硬件肯定会出现延迟丢包等问题,所以分区容忍性是我们必须需要实现的。所以我们只能在一致性和可用性之间进行权衡,没有NoSQL系统能同时保证这三点。
=======================================================================================================================
C:强一致性 A:高可用性 P:分布式容忍性CA 传统Oracle数据库AP 大多数网站架构的选择CP Redis、Mongodb注意:分布式架构的时候必须做出取舍。
一致性和可用性之间取一个平衡。多余大多数web应用,其实并不需要强一致性。
因此牺牲C换取P,这是目前分布式数据库产品的方向
=======================================================================================================================
一致性与可用性的决择对于web2.0网站来说,关系数据库的很多主要特性却往往无用武之地数据库事务一致性需求 很多web实时系统并不要求严格的数据库事务,对读一致性的要求很低, 有些场合对写一致性要求并不高。允许实现最终一致性。数据库的写实时性和读实时性需求对关系数据库来说,插入一条数据之后立刻查询,是肯定可以读出来这条数据的,但是对于很多web应用来说,并不要求这么高的实时性,比方说发一条消息之 后,过几秒乃至十几秒之后,我的订阅者才看到这条动态是完全可以接受的。对复杂的SQL查询,特别是多表关联查询的需求 任何大数据量的web系统,都非常忌讳多个大表的关联查询,以及复杂的数据分析类型的报表查询,特别是SNS类型的网站,从需求以及产品设计角 度,就避免了这种情况的产生。往往更多的只是单表的主键查询,以及单表的简单条件分页查询,SQL的功能被极大的弱化了。
1.6.4 经典CAP图
CAP理论的核心是:一个分布式系统不可能同时很好的满足一致性,可用性和分区容错性这三个需求,
最多只能同时较好的满足两个。
因此,根据 CAP 原理将 NoSQL 数据库分成了满足 CA 原则、满足 CP 原则和满足 AP 原则三 大类:
CA - 单点集群,满足一致性,可用性的系统,通常在可扩展性上不太强大。
CP - 满足一致性,分区容忍必的系统,通常性能不是特别高。
AP - 满足可用性,分区容忍性的系统,通常可能对一致性要求低一些。
1.6.5 BASE
BASE就是为了解决关系数据库强一致性引起的问题而引起的可用性降低而提出的解决方案。BASE其实是下面三个术语的缩写:基本可用(Basically Available)软状态(Soft state)最终一致(Eventually consistent)它的思想是通过让系统放松对某一时刻数据一致性的要求来换取系统整体伸缩性和性能上改观。为什么这么说呢,缘由就在于大型系统往往由于地域分布和极高性能的要求,不可能采用分布式事务来完成这些指标,要想获得这些指标,我们必须采用另外一种方式来完成,这里BASE就是解决这个问题的办法
1.6.6 分布式+集群简介
分布式系统分布式系统(distributed system)由多台计算机和通信的软件组件通过计算机网络连接(本地网络或广域网)组成。分布式系统是建立在网络之上的软件系统。正是因为软件的特性,所以分布式系统具有高度的内聚性和透明性。因此,网络和分布式系统之间的区别更多的在于高层软件(特别是操作系统),而不是硬件。分布式系统可以应用在在不同的平台上如:Pc、工作站、局域网和广域网上等。简单来讲:
1、分布式:不同的多台服务器上面部署不同的服务模块(工程),他们之间通过Rpc/Rmi之间通信和调用,对外提供服务和组内协作。
2、集群:不同的多台服务器上面部署相同的服务模块,通过分布式调度软件进行统一的调度,对外提供服务和访问。
2. Redis入门介绍
2.1 入门概述
2.1.1是什么
Redis:REmote DIctionary Server(远程字典服务器)是完全开源免费的,用C语言编写的,遵守BSD协议, 是一个高性能的(key/value)分布式内存数据库,基于内存运行 并支持持久化的NoSQL数据库,是当前最热门的NoSql数据库之一, 也被人们称为数据结构服务器 Redis 与其他 key - value 缓存产品有以下三个特点
2.1.2 能干嘛
- 内存存储和持久化:redis支持异步将内存中的数据写到硬盘上,同时不影响继续服务
- 取最新N个数据的操作,如:可以将最新的10条评论的ID放在Redis的List集合里面
- 模拟类似于HttpSession这种需要设定过期时间的功能
- 发布、订阅消息系统
- 定时器、计数器
2.1.3 去哪下
- Http://redis.io/
- Http://www.redis/
2.1.4 怎么玩
- 数据类型、基本操作和配置
- 持久化和复制,RDB/AOF
- 事务的控制
- 复制
- …
2.2 VMWare+VMTools千里之行始于足下
可查阅Linux的资料,装好环境
2.3 Redis的安装
2.3.1 Windows版安装
正式开发中,几乎不可能在windows系统安装redis作为服务器,所以我们重点介绍Linux版本的使用
2.3.2 Linux版安装
- 下载获得redis-3.0.4.tar.gz后将它放入我们的Linux目录/opt\
- /opt目录下,解压命令:tar -zxvf redis-3.0.4.tar.gz
- 解压完成后出现文件夹:redis-3.0.4
- 进入目录:cd redis-3.0.4
- 在redis-3.0.4目录下执行make命令
运行make命令时故 意出现的错误解析:
1、安装gcc
能上网:yum install gcc-c++
不上网:2、二次make
(1)Jemalloc/jemalloc.h:没有那个文件或目录,解决方法,先执行:make distclean,再执行make,最后再执行make install
(2)Redis Test(可以不用执行),会下载TCL插件,不用测试
-
如果make完成后继续执行make install
-
查看默认安装目录:usr/local/bin
- Redis-benchmark:性能测试工具,可以在自己本子运行,看看自己本子性能如何,服务启动起来后执行
- Redis-check-aof:修复有问题的AOF文件,rdb和aof后面讲
- Redis-check-dump:修复有问题的dump.rdb文件
- Redis-cli:客户端,操作入口
- Redis-sentinel:redis集群使用
- Redis-server:Redis服务器启动命令
- 启动
- 修改redis.conf文件将里面的daemonize no 改成 yes,让服务在后台启动
- 将默认的redis.conf拷贝到自己定义好的一个路径下,比如/myconf
- 启动
- 连通测试
- /usr/local/bin目录下运行redis-server,运行拷贝出存放了自定义conf文件目录下的redis.conf文件
- 永远的helloworld
- 关闭
- 单实例关闭:redis-cli shutdown
- 多实例关闭,指定端口关闭:redis-cli -p 6379 shutdown
2.4 Redis启动后杂项基础知识讲解
- 单进程
- 单进程模型来处理客户端的请求。对读写等事件的响应 是通过对Epoll函数的包装来做到的。Redis的实际处理速度完全依靠主进程的执行效率
- Epoll是Linux内核为处理大批量文件描述符而作了改进的Epoll,是Linux下多路复用IO接口select/poll的增强版本, 它能显著提高程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率。
-
默认16个数据库,类似数组下表从零开始,初始默认使用零号库
-
Select命令切换数据库
-
Dbsize查看当前数据库的key的数量
-
Flushdb:清空当前库
-
Flushall;通杀全部库
-
统一密码管理,16个库都是同样密码,要么都OK要么一个也连接不上(默认将安全交给了Linux系统,关闭了密码)
-
Redis索引都是从零开始
-
为什么默认端口是6379(9宫格输入法:输入了6379键,显示“merz”,作者在自己的一篇博文中解释了为什么选用 6379 作为默认端口,因为 6379 在手机按键上 MERZ 对应的号码,而 MERZ 取自意大利歌女 Alessia Merz 的名字)
3. Redis数据类型
3.1 Redis的五大数据类型
3.1.1 String(字符串)
String(字符串)
1、string是redis最基本的类型,你可以理解成与Memcached一模一样的类型,一个key对应一个value。
2、string类型是二进制安全的。意思是redis的string可以包含任何数据。比如jpg图片或者序列化的对象 。
3、string类型是Redis最基本的数据类型,一个redis中字符串value最多可以是512M
3.1.2 Hash(哈希,类似java里的Map)
Hash(哈希)
1、Redis hash 是一个键值对集合。
2、Redis hash是一个string类型的field和value的映射表,hash特别适合用于存储对象。
3、类似Java里面的Map<String,Object>
3.1.3 List(列表)
List(列表)
Redis 列表是简单的字符串列表,按照插入顺序排序。你可以添加一个元素导列表的头部(左边)或者尾部(右边)。
它的底层实际是个链表
3.1.4 Set(集合)
Set(集合)
Redis的Set是string类型的无序集合。它是通过HashTable实现实现的,
3.1.5 Zset(sorted set:有序集合)
zset(sorted set:有序集合)
Redis zset 和 set 一样也是string类型元素的集合,且不允许重复的成员。
不同的是每个元素都会关联一个double类型的分数。
redis正是通过分数来为集合中的成员进行从小到大的排序。zset的成员是唯一的,但分数(score)却可以重复。
3.2 哪里去获得redis常见数据类型操作命令
链接:Http://redisdoc/
3.3 Redis 键(key)
3.3.1 常用
3.3.2 案例
-
keys * 查找当前所有的key
-
exists key的名字,判断某个key是否存在,0表示不存在,1表示存在
-
move key db —>当前库就没有了,被移动到db库中
-
expire key 秒钟:为给定的key设置过期时间,单位是:秒
-
ttl key 查看还有多少秒过期,-1表示永不过期,-2表示已过期
-
type key 查看你的key是什么类型
过期的key查询不出key的类型,未过期的可以查询出来,例如:k4就是String类型
3.4 Redis字符串(String)
3.4.1 常用
3.4.2 单值单value
3.4.3 案例
-
set/get/del/append/strlen
-
Incr/decr/incrby/decrby,一定要是数字才能进行加减
-
getrange/setrange
getrange:获取指定区间范围内的值,类似between......and的关系
从零到负一表示全部
-
setex(set with expire)键秒值/setnx(set if not exist)
setex:设置带过期时间的key,动态设置。
setex 键 秒值 真实值
setnx:当前key不存在才能设置成功
-
mset/mget/msetnx
mset:同时设置一个或多个 key-value 对。
mget:同时获取一个或多个 key 对应的 value
msetnx:
-
getset(先get再set)
getset:将给定 key 的值设为 value ,并返回 key 的旧值(old value)。
简单一句话,先get然后立即set
3.5 Redis列表(List)
3.5.1 常用
3.5.2 单值多value
3.5.3 案例
-
lpush/rpush/lrange
-
lpop/rpop
-
lindex,按照索引下标获得元素(从上到下)
通过索引获取列表中的元素 lindex key index
-
llen
-
lrem key 删N个value
* 从left往right删除2个值等于v1的元素,返回的值为实际删除的数量* LREM list3 0 值,表示删除全部给定的值。零个就是全部值
-
ltrim key 开始index 结束index,截取指定范围的值后再赋值给key
ltrim:截取指定索引区间的元素,格式是ltrim list的key 起始索引 结束索引
-
rpoplpush 源列表 目的列表
移除列表的最后一个元素,并将该元素添加到另一个列表并返回
-
lset key index value
-
linsert key before/after 值1 值2lin
在list某个已有值的前后再添加具体值
- 性能总结
- 它是一个字符串链表,left、right都可以插入添加;
- 如果键不存在,创建新的链表;
- 如果键已存在,新增内容;
- 如果值全移除,对应的键也就消失了。
- 链表的操作无论是头和尾效率都极高,但假如是对中间元素进行操作,效率就很惨淡了。
3.6 Redis集合(Set)
3.6.1 常用
3.6.2 单值多value
3.6.3 案例
-
sadd/smembers/sismember
-
scard,获取集合里面的元素个数
-
srem key value 删除集合中元素
-
srandmember key 某个整数(随机出几个数)
从set集合里面随机取出2个
如果超过最大数量就全部取出,
如果写的值是负数,比如-3 ,表示需要取出3个,但是可能会有重复值。
-
spop key 随机出栈
-
smove key1 key2 在key1里某个值 作用是将key1里的某个值赋给key2
-
数学集合类
-
差集:sdiff
在第一个set里面而不在后面任何一个set里面的项
- 交集:sinter
-
并集:sunion
-
3.7 Redis哈希(Hash)
3.7.1 常用
3.7.2 KV模式不变,但V是一个键值对
3.7.3 案例
-
hset/hget/hmset/hmget/hgetall/hdel
-
hlen
-
hexists key 在key里面的某个值的key
-
hkeys/hvals
-
hincrby/hincrbyfloat
-
hsetnx
不存在赋值,存在了无效。如果用hset重新赋值,则会覆盖
3.8 Redis有序集合Zset(sorted set)
3.8.1 本质
在set基础上,加一个score值。 之前set是k1 v1 v2 v3, 现在zset是k1 score1 v1 score2 v2
3.8.2 常用
3.8.3 案例
-
zadd/zrange
-
zrangebyscore key 开始score 结束score
-
zrem key 某score下对应的value值,作用是删除元素
删除元素,格式是zrem zset的key 项的值,项的值可以是多个zrem key score某个对应值,可以是多个值
- zcard/zcount key score区间/zrank key values值,作用是获得下标值/zscore key 对应值,获得分数
zcard :获取集合中元素个数
zcount :获取分数区间内元素个数,zcount key 开始分数区间 结束分数区间
zrank: 获取value在zset中的下标位置
zscore:按照值获得对应的分数
- zrevrank key values值,作用是逆序获得下标值
正序、逆序获得下标索引值
- zrevrange
- zrevrangebyscore key 结束score 开始score
zrevrangebyscore zset1 90 60 withscores 分数是反着来的
4. 解析配置文件 redis.conf
4.1 它在哪
4.1.1 地址
4.1.2 为什么我将它拷贝出来单独执行?
解释:
4.2 Units单位
1、配置大小单位,开头定义了一些基本的度量单位,只支持bytes,不支持bit
2、对大小写不敏感
4.3 INCLUDES包含
和我们的Struts2配置文件类似,可以通过includes包含,redis.conf可以作为总闸,包含其他
4.4 GENERAL通用
-
Daemonize 守护进程,设置为“yes”后,在后台进行执行
-
Pidfile
运行daemonized时,Redis在/var/run中写入一个pid文件/redis.pid通过 默认值。您可以在此处指定自定义pid文件位置。
-
Port
-
Tcp-backlog
翻译:
tcp-backlog
设置tcp的backlog,backlog其实是一个连接队列,backlog队列总和=未完成三次握手队列 + 已经完成三次握手队列。
在高并发环境下你需要一个高backlog值来避免慢客户端连接问题。注意Linux内核会将这个值减小到/proc/sys/net/core/somaxconn的值,所以需要确认增大somaxconn和tcp_max_syn_backlog两个值,来达到想要的效果。
- Timeout
- Bind 端口的绑定
- Tcp-keepalive
单位为秒,如果设置为0,则不会进行Keepalive检测,建议设置成60
-
Loglevel 日志级别
debug、verbose、notice、warning,从左到右,级别越来越高
-
Logfile 日志文件,默认不设置,如果不设置,则发送到黑洞
-
Syslog-enabled
是否把日志输出到syslog中,默认是关闭的
- Syslog-ident
指定syslog里的日志标志
- Syslog-facility
指定syslog设备,值可以是USER或LOCAL0-LOCAL7
- Databases
数据库的数量,默认有16个。通过select 0 值select 15进行切库
4.5 SNAPSHOTTING快照
持久化RDB配置位置
4.5.1 Save
- save 秒钟 写操作次数
RDB是整个内存的压缩过的Snapshot,RDB的数据结构,可以配置复合的快照触发条件,
默认
是1分钟内改了1万次,
或5分钟内改了10次,
或15分钟内改了1次。
- 禁用
如果想禁用RDB持久化的策略,只要不设置任何save指令,或者给save传入一个空字符串参数也可以
4.5.2 Stop-writes-on-bgsave-error
如果配置成no,表示你不在乎数据不一致或者有其他的手段发现和控制
4.5.3 rdbcompression
rdbcompression:对于存储到磁盘中的快照,可以设置是否进行压缩存储。如果是的话,redis会采用LZF算法进行压缩。如果你不想消耗CPU来进行压缩的话,可以设置为关闭此功能
4.5.4 rdbchecksum
rdbchecksum:在存储快照后,还可以让redis使用CRC64算法来进行数据校验,但是这样做会增加大约
10%的性能消耗,如果希望获取到最大的性能提升,可以关闭此功能
4.5.5 dbfilename
4.5.6 dir
4.6 REPLICATION复制
4.7 SECURITY安全
访问密码的查看、设置和取消
关于安全基本上不用使用,可以使用shiro、spring security和linux进行安全上的设置,不用过多的去考虑redis的缓存,注重缓存的效率即可
4.8 LIMITS限制
4.8.1 Maxclients
设置redis同时可以与多少个客户端进行连接。默认情况下为10000个客户端。当你无法设置进程文件句柄限制时,redis会设置为当前的文件句柄限制值减去32,因为redis会为自身内部处理逻辑留一些句柄出来。如果达到了此限制,redis则会拒绝新的连接请求,并且向这些连接请求方发出“max number of clients reached”以作回应。
4.8.2 Maxmemory
设置redis可以使用的内存量。一旦到达内存使用上限,redis将会试图移除内部数据,移除规则可以通过maxmemory-policy来指定。如果redis无法根据移除规则来移除内存中的数据,或者设置了“不允许移除”,那么redis则会针对那些需要申请内存的指令返回错误信息,比如SET、LPUSH等。但是对于无内存申请的指令,仍然会正常响应,比如GET等。如果你的redis是主redis(说明你的redis有从redis),那么在设置内存使用上限时,需要在系统中留出一些内存空间给同步队列缓存,只有在你设置的是“不移除”的情况下,才不用考虑这个因素。
4.8.3 Maxmemory-policy
(1)volatile-lru:使用LRU算法移除key,只对设置了过期时间的键
(2)allkeys-lru:使用LRU算法移除key
(3)volatile-random:在过期集合中移除随机的key,只对设置了过期时间的键
(4)allkeys-random:移除随机的key
(5)volatile-ttl:移除那些TTL值最小的key,即那些最近要过期的key
(6)noeviction:不进行移除。针对写操作,只是返回错误信息
4.8.4 Maxmemory-samples
设置样本数量,LRU算法和最小TTL算法都并非是精确的算法,而是估算值,所以你可以设置样本的大小,
redis默认会检查这么多个key并选择其中LRU的那个
4.9 APPEND ONLY MODE追加
4.9.1 appendonly
4.9.2 appendfilename
4.9.3 Appendfsync
Always:同步持久化,每次发生数据变更会被立即记录到磁盘,性能较差但数据完整性比较好。
Everysec:出厂默认推荐,异步操作,每秒记录。如果一秒内宕机,有数据丢失。
no
4.9.4 No-appendfsync-on-rewrite:重写时是否可以运用Appendfsync,用默认no即可,保证数据安全性。
4.9.5 Auto-aof-rewrite-min-size:设置重写的基准值
4.9.6 Auto-aof-rewrite-percentage:设置重写的基准值
4.10 常见配置redis.conf介绍
参数说明
redis.conf 配置项说明如下:
1. Redis默认不是以守护进程的方式运行,可以通过该配置项修改,使用yes启用守护进程daemonize no
2. 当Redis以守护进程方式运行时,Redis默认会把pid写入/var/run/redis.pid文件,可以通过pidfile指定pidfile /var/run/redis.pid
3. 指定Redis监听端口,默认端口为6379,作者在自己的一篇博文中解释了为什么选用6379作为默认端口,因为6379在手机按键上MERZ对应的号码,而MERZ取自意大利歌女Alessia Merz的名字port 6379
4. 绑定的主机地址bind 127.0.0.1
5.当客户端闲置多长时间后关闭连接,如果指定为0,表示关闭该功能timeout 300
6.指定日志记录级别,Redis总共支持四个级别:debug、verbose、notice、warning,默认为verboseloglevel verbose
7. 日志记录方式,默认为标准输出,如果配置Redis为守护进程方式运行,而这里又配置为日志记录方式为标准输出,则日志将会发送给/dev/nulllogfile stdout
8. 设置数据库的数量,默认数据库为0,可以使用SELECT <dbid>命令在连接上指定数据库iddatabases 16
9. 指定在多长时间内,有多少次更新操作,就将数据同步到数据文件,可以多个条件配合save <seconds> <changes>Redis默认配置文件中提供了三个条件:save 900 1save 300 10save 60 10000分别表示900秒(15分钟)内有1个更改,300秒(5分钟)内有10个更改以及60秒内有10000个更改。10. 指定存储至本地数据库时是否压缩数据,默认为yes,Redis采用LZF压缩,如果为了节省CPU时间,可以关闭该选项,但会导致数据库文件变的巨大rdbcompression yes
11. 指定本地数据库文件名,默认值为dump.rdbdbfilename dump.rdb
12. 指定本地数据库存放目录dir ./
13. 设置当本机为slav服务时,设置master服务的IP地址及端口,在Redis启动时,它会自动从master进行数据同步slaveof <masterip> <masterport>
14. 当master服务设置了密码保护时,slav服务连接master的密码masterauth <master-password>
15. 设置Redis连接密码,如果配置了连接密码,客户端在连接Redis时需要通过AUTH <password>命令提供密码,默认关闭requirepass foobared
16. 设置同一时间最大客户端连接数,默认无限制,Redis可以同时打开的客户端连接数为Redis进程可以打开的最大文件描述符数,如果设置 maxclients 0,表示不作限制。当客户端连接数到达限制时,Redis会关闭新的连接并向客户端返回max number of clients reached错误信息maxclients 128
17. 指定Redis最大内存限制,Redis在启动时会把数据加载到内存中,达到最大内存后,Redis会先尝试清除已到期或即将到期的Key,当此方法处理 后,仍然到达最大内存设置,将无法再进行写入操作,但仍然可以进行读取操作。Redis新的vm机制,会把Key存放内存,Value会存放在swap区maxmemory <bytes>
18. 指定是否在每次更新操作后进行日志记录,Redis在默认情况下是异步的把数据写入磁盘,如果不开启,可能会在断电时导致一段时间内的数据丢失。因为 redis本身同步数据文件是按上面save条件来同步的,所以有的数据会在一段时间内只存在于内存中。默认为noappendonly no
19. 指定更新日志文件名,默认为appendonly.aofappendfilename appendonly.aof
20. 指定更新日志条件,共有3个可选值: no:表示等操作系统进行数据缓存同步到磁盘(快) always:表示每次更新操作后手动调用fsync()将数据写到磁盘(慢,安全) everysec:表示每秒同步一次(折衷,默认值)appendfsync everysec21. 指定是否启用虚拟内存机制,默认值为no,简单的介绍一下,VM机制将数据分页存放,由Redis将访问量较少的页即冷数据swap到磁盘上,访问多的页面由磁盘自动换出到内存中(在后面的文章我会仔细分析Redis的VM机制)vm-enabled no
22. 虚拟内存文件路径,默认值为/tmp/redis.swap,不可多个Redis实例共享vm-swap-file /tmp/redis.swap
23. 将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置多小,所有索引数据都是内存存储的(Redis的索引数据 就是keys),也就是说,当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘。默认值为0vm-max-memory 0
24. Redis swap文件分成了很多的page,一个对象可以保存在多个page上面,但一个page上不能被多个对象共享,vm-page-size是要根据存储的 数据大小来设定的,作者建议如果存储很多小对象,page大小最好设置为32或者64bytes;如果存储很大大对象,则可以使用更大的page,如果不 确定,就使用默认值vm-page-size 32
25. 设置swap文件中的page数量,由于页表(一种表示页面空闲或使用的bitmap)是在放在内存中的,,在磁盘上每8个pages将消耗1byte的内存。vm-pages 134217728
26. 设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的,可能会造成比较长时间的延迟。默认值为4vm-max-threads 4
27. 设置在向客户端应答时,是否把较小的包合并为一个包发送,默认为开启glueoutputbuf yes
28. 指定在超过一定的数量或者最大的元素超过某一临界值时,采用一种特殊的哈希算法hash-max-zipmap-entries 64hash-max-zipmap-value 512
29. 指定是否激活重置哈希,默认为开启(后面在介绍Redis的哈希算法时具体介绍)activerehashing yes
30. 指定包含其它的配置文件,可以在同一主机上多个Redis实例之间使用同一份配置文件,而同时各个实例又拥有自己的特定配置文件include /path/to/local.conf
5. Redis的持久化
5.1 总体介绍
5.2 RDB(Redis DataBase)
5.2.1 官网介绍
5.2.2 是什么:
在指定的时间间隔内将内存中的数据集快照写入磁盘,也就是行话讲的Snapshot快照,它恢复时是将快照文件直接读到内存里。
Redis会单独创建(fork)一个子进程来进行持久化,会先将数据写入到一个临时文件中,待持久化过程都结束了,再用这个临时文件替换上次持久化好的文件。整个过程中,主进程是不进行任何IO操作的,这就确保了极高的性能 如果需要进行大规模数据的恢复,且对于数据恢复的完整性不是非常敏感,那RDB方式要比AOF方式更加的高效。RDB的缺点是最后一次持久化后的数据可能丢失。
5.2.3 Fork
Fork的作用是复制一个与当前进程一样的进程。新进程的所有数据(变量、环境变量、程序计数器等) 数值都和原进程一致,但是是一个全新的进程,并作为原进程的子进程
5.2.4 Rdb 保存的是dump.rdb文件
5.2.5 配置位置
5.2.6 如何触发RDB快照
5.2.6.1 配置文件中默认的快照配置
冷拷贝后重新使用
可以cp dump.rdb dump_new.rdb
5.2.6.2 命令save或者是bgsave
-
Save:save时只管保存,其它不管,全部阻塞。
-
BGSAVE:Redis会在后台异步进行快照操作, 快照同时还可以响应客户端请求。可以通过lastsave 命令获取最后一次成功执行快照的时间。
5.2.6.3 执行flushall命令,也会产生dump.rdb文件,但里面是空的,无意义
5.2.7 如何恢复
将备份文件 (dump.rdb) 移动到 redis 安装目录并启动服务即可
CONFIG GET dir获取目录
5.2.8 优势
适合大规模的数据恢复
对数据完整性和一致性要求不高
5.2.9 劣势
在一定间隔时间做一次备份,所以如果redis意外down掉的话,就 会丢失最后一次快照后的所有修改。
Fork的时候,内存中的数据被克隆了一份,大致2倍的膨胀性需要考虑。
5.2.10 如何停止
动态所有停止RDB保存规则的方法:redis-cli config set save ""
5.2.11 小总结
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-boiEarUW-1612428038624)(C:\Users\feixun\AppData\Roaming\Typora\typora-user-images\image-20210115095007436.png)]
5.3 AOF(Append Only File)
5.3.1 官网介绍
5.3.2 是什么:
以日志的形式来记录每个写操作,将Redis执行过的所有写指令记录下来(读操作不记录), 只许追加文件但不可以改写文件,redis启动之初会读取该文件重新构建数据,换言之,redis 重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作
5.3.3 Aof保存的是appendonly.aof文件
5.3.4 配置位置
5.3.5 AOF启动/修复/恢复
5.3.5.1 正常恢复
- 启动:设置Yes,修改默认的appendonly no,改为yes
- 将有数据的aof文件复制一份保存到对应目录(config get dir)
- 恢复:重启redis然后重新加载
5.3.5.2 异常恢复
- 启动:设置Yes,修改默认的appendonly no,改为yes
- 备份被写坏的AOF文件
- 修复:Redis-check-aof --fix进行修复
- 恢复:重启redis然后重新加载
5.3.6 Rewrite
5.3.6.1 是什么:
AOF采用文件追加方式,文件会越来越大为避免出现此种情况,新增了重写机制, 当AOF文件的大小超过所设定的阈值时,Redis就会启动AOF文件的内容压缩, 只保留可以恢复数据的最小指令集.可以使用命令bgrewriteaof
5.3.6.2 重写原理
AOF文件持续增长而过大时,会fork出一条新进程来将文件重写(也是先写临时文件最后再rename), 遍历新进程的内存中数据,每条记录有一条的Set语句。重写aof文件的操作,并没有读取旧的aof文件, 而是将整个内存中的数据库内容用命令的方式重写了一个新的aof文件,这点和快照有点类似
5.3.6.3 触发机制
Redis会记录上次重写时的AOF大小,默认配置是当AOF文件大小是上次rewrite后大小的一倍且文件大于64M时触发
5.3.7 优势
每修改同步:appendfsync always 同步持久化 每次发生数据变更会被立即记录到磁盘 性能较差但数据完整性比较好
每秒同步:appendfsync everysec 异步操作,每秒记录 如果一秒内宕机,有数据丢失
不同步:appendfsync no 从不同步
5.3.8 劣势
相同数据集的数据而言aof文件要远大于rdb文件,恢复速度慢于rdb
Aof运行效率要慢于rdb,每秒同步策略效率较好,不同步效率和rdb相同
5.3.9 小总结
5.4 总结(Which one)
- 官网建议
- RDB持久化方式能够在指定的时间间隔能对你的数据进行快照存储
- AOF持久化方式记录每次对服务器写的操作,当服务器重启的时候会重新执行这些 命令来恢复原始的数据,AOF命令以redis协议追加保存每次写的操作到文件末尾. Redis还能对AOF文件进行后台重写,使得AOF文件的体积不至于过大
- 只做缓存:如果你只希望你的数据在服务器运行的时候存在,你也可以不使用任何持久化方式.
- 同时开启两种持久化方式
- 在这种情况下,当redis重启的时候会优先载入AOF文件来恢复原始的数据, 因为在通常情况下AOF文件保存的数据集要比RDB文件保存的数据集要完整.
- RDB的数据不实时,同时使用两者时服务器重启也只会找AOF文件。那要不要只使用AOF呢? 作者建议不要,因为RDB更适合用于备份数据库(AOF在不断变化不好备份), 快速重启,而且不会有AOF可能潜在的bug,留着作为一个万一的手段。
- 性能建议
6. Redis的事务
6.1 是什么
- 可以一次执行多个命令,本质是一组命令的集合。一个事务中的 所有命令都会序列化,按顺序地串行化执行而不会被其它命令插入,不许加塞。
- 官网
6.2 能干嘛
一个队列中,一次性、顺序性、排他性的执行一系列命令
6.3 怎么玩
6.3.1 常用命令
6.3.2 Case1:正常执行
6.3.3 Case2:放弃事务
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CDuC87df-
6.3.4 Case3:全体连坐
一人有错,全体连坐,都不执行
6.3.5 Case4:冤头债主
冤有头,债有主,对的执行,错的不执行
6.3.6 Case5:watch监控
6.3.6.1 悲观锁/乐观锁/CAS(Check And Set)
- 悲观锁
悲观锁(Pessimistic Lock), 顾名思义,就是很悲观,每次去拿数据的时候都认为别人会修改,所以每次在拿数据的时候都会上锁,这样别人想拿这个数据就会block直到它拿到锁。传统的关系型数据库里边就用到了很多这种锁机制,比如行锁,表锁等,读锁,写锁等,都是在做操作之前先上锁
- 乐观锁
乐观锁(Optimistic Lock), 顾名思义,就是很乐观,每次去拿数据的时候都认为别人不会修改,所以不会上锁,但是在更新的时候会判断一下在此期间别人有没有去更新这个数据,可以使用版本号等机制。乐观锁适用于多读的应用类型,这样可以提高吞吐量,
乐观锁策略:提交版本必须大于记录当前版本才能执行更新
- CAS
6.3.6.2 初始化信用卡可用余额和欠额
6.3.6.3 无加塞篡改,先监控再开启multi, 保证两笔金额变动在同一个事务内
6.3.6.4 有加塞篡改
监控了key,如果key被修改了,后面一个事务的执行失效
6.3.6.5 unwatch
6.3.6.6 一旦执行了exec之前加的监控锁都会被取消掉了
6.3.6.7 小结
Watch指令,类似乐观锁,事务提交时,如果Key的值已被别的客户端改变, 比如某个list已被别的客户端push/pop过了,整个事务队列都不会被执行
通过WATCH命令在事务执行之前监控了多个Keys,倘若在WATCH之后有任何Key的值发生了变化, EXEC命令执行的事务都将被放弃,同时返回Nullmulti-bulk应答以通知调用者事务执行失败
6.4 3阶段
6.4.1 开启:以MULTI开始一个事务
6.4.2入队:将多个命令入队到事务中,接到这些命令并不会立即执行,而是放到等待执行的事务队列里面
6.4.3 执行:由EXEC命令触发事务
6.5 3特性
6.5.1单独的隔离操作:事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中,不会被其他客户端发送来的命令请求所打断。
6.5.2没有隔离级别的概念:队列中的命令没有提交之前都不会实际的被执行,因为事务提交前任何指令都不会被实际执行, 也就不存在”事务内的查询要看到事务里的更新,在事务外查询不能看到”这个让人万分头痛的问题
6.5.3不保证原子性:redis同一个事务中如果有一条命令执行失败,其后的命令仍然会被执行,没有回滚
7. Redis的发布订阅
7.1 是什么
进程间的一种消息通信模式:发送者(pub)发送消息,订阅者(sub)接收消息。
7.2 命令
7.3 案列
订阅/发布消息图
先订阅后发布后才能收到消息,
1 可以一次性订阅多个,SUBSCRIBE c1 c2 c3
2 消息发布,PUBLISH c2 hello-redis
3 订阅多个,通配符*, PSUBSCRIBE new*
4 收取消息, PUBLISH new1 redis2015
8. Redis的复制(Master/Slave)
8.1 是什么
-
官网
-
行话:也就是我们所说的主从复制,主机数据更新后根据配置和策略, 自动同步到备机的master/slaver机制,Master以写为主,Slave以读为主。
8.2 能干嘛
- 读写分离
- 容灾恢复
8.3 怎么玩
8.3.1 配从(库)不配主(库)
8.3.2 从库配置:slaveof 主库IP 主库端口
- 每次与master断开之后,都需要重新连接,除非你配置进redis.conf文件
- Info replication
8.3.3 修改配置文件细节操作
-
拷贝多个redis.conf文件
-
开启daemonize yes
-
Pid文件名字
-
指定端口
-
Log文件名字
-
Dump.rdb名字
-
启动三台redis服务器
8.3.4 常用3招
8.3.4.1 一主二仆
-
Init
-
一个Master两个Slave
-
日志查看
-
主机日志
-
备机日志
-
info replication
-
-
主从问题演示
(1)切入点问题?slave1、slave2是从头开始复制还是从切入点开始复制?比如从k4进来,那之前的123是否也可以复制;
答:可以赋值,不需要重新整理;
(2)从机是否可以写?set可否?
答:不可以,只能读,不能写;
(3)主机shutdown后情况如何?从机是上位还是原地待命
答:从机不会上位,还是原地待命。
(4)主机又回来了后,主机新增记录,从机还能否顺利复制?
答:当主机重新回来后,主机新增记录,从机还是可以顺利进行赋值的。
(5)其中一台从机down后情况如何?依照原有它能跟上大部队吗?
答:当其中一台从机down之后,从机启动后,会保持原有的数据,当时down之后,主机新增的记录不会持有。因为重启之后,已经与master断开了,再重启有事master,需要手动的再与主机链接一下。执行命令 “SLAVEOF 127.0.0.1 6379”,再去查看,又会变成6379的从机,并且可以同步主机的数据。
8.3.4.2 薪火相传
-
上一个Slave可以是下一个slave的Master,Slave同样可以接收其他slaves的连接和同步请求,那么该slave作为了链条中下一个的master, 可以有效减轻master的写压力。
-
中途变更转向:会清除之前的数据,重新建立拷贝最新的
-
Slaveof 新主库IP 新主库端口
通过6380可以查看,该服务即作为6379的从机,也作为6381的主机。在6379输入的数据,6380和6381都可以读出数据,可以传递值
8.3.4.3 反客为主
SLAVEOF no one使当前数据库停止与其他数据库的同步,转成主数据库,形成一个中心点
8.4 复制原理
- Slave启动成功连接到master后会发送一个sync命令
- Master接到命令启动后台的存盘进程,同时收集所有接收到的用于修改数据集命令, 在后台进程执行完毕之后,master将传送整个数据文件到slave,以完成一次完全同步。
- 全量复制:而slave服务在接收到数据库文件数据后,将其存盘并加载到内存中。
- 增量复制:Master继续将新的所有收集到的修改命令依次传给slave,完成同步
- 但是只要是重新连接master,一次完全同步(全量复制)将被自动执行
8.5 哨兵模式(sentinel)
8.5.1 是什么
反客为主的自动版,能够后台监控主机是否故障,如果故障了根据投票数自动将从库转换为主库。
8.5.2 怎么玩(使用步骤)
8.5.2.1 调整结构,6379带着80、81,一主二从的模式
8.5.2.2 自定义的/myredis目录下新建sentinel.conf文件,名字绝不能错
8.5.2.3 配置哨兵,填写内容
- sentinel monitor 被监控数据库名字(自己起名字) 127.0.0.1 6379 1
- 上面最后一个数字1,表示主机挂掉后salve投票看让谁接替成为主机,得票数多少后成为主机
8.5.2.4 启动哨兵
- Redis-sentinel /myredis/sentinel.conf
- 上述目录依照各自的实际情况配置,可能目录不同
8.5.2.5 正常主从演示
8.5.2.6 原有的master挂了
当原有的master挂掉后,6380和6381会自动选举出master,这里选举的是6381作为master。同理,master可以写,其余的slaver只能读
8.5.2.7 投票新选
选举6381作为主机
8.5.2.8 重新主从继续开工,info replication查查看
master写数据,从机可以同步数据,进行读取
8.5.2.9 问题:如果之前的master重启回来,会不会双master冲突?
当6379重启后,会变为从机,自动更新数据
8.5.3 一组sentinel能同时监控多个Master
8.6 复制的缺点
复制延时
由于所有的写操作都是先在Master上操作,然后同步更新到Slave上,所以从Master同步到Slave机器有一定的延迟,当系统很繁忙的时候,延迟问题会更加严重,Slave机器数量的增加也会使这个问题更加严重。
9. Redis的Java客户端Jedis
9.1 安装JDK
步骤:
- tar -zxvf jdk-7u67-linux-i586.tar.gz
- vi /etc/profile
- 重启一次Centos
- 编码验证
9.2 安装eclipse
9.3 Jedis所需要的jar包
- Commons-pool-1.6.jar
- Jedis-2.1.0.jar
9.4 Jedis常用操作
9.4.1 测试连通性
@Test
public void testConnect() {Jedis jedis = new Jedis("192.168.1.104", 6381);System.out.println("testConnect(): " + jedis.ping()); // 结果返回:pong
}
9.4.2 5+1
- 一个key
- 五大数据类型
@Test
public void testDataType() {Jedis jedis = new Jedis("192.168.1.104", 6381);Set<String> keys = jedis.keys("*");System.out.println("遍历:");for (String key : keys) {System.out.println("=> " + key);}// 判断某个key是否存在System.out.println("jedis.exists() => " + jedis.exists("k2"));// 判断存活时间System.out.println("jedis.ttl() => " + jedis.ttl("k1"));// ====== String// 设置string类型的键-值jedis.set("k8", "k8_redis");// 获取String类型的键所对应的值System.out.println("jedis.get() => " + jedis.get("k8"));// 设置string类型的多个键-值jedis.mset("str1", "v1", "str2", "v2", "str3", "v3");// 获取String类型的多个键所对应的值System.out.println(jedis.mget("str1", "str2", "str3"));System.out.println("=================================================");// ====== Listjedis.lpush("mylist", "v1", "v2", "v3", "v4", "v5");List<String> list = jedis.lrange("mylist", 0, -1);for (String element : list) {System.out.println(element);}System.out.println("=================================================");// ====== Setjedis.sadd("orders", "jd001");jedis.sadd("orders", "jd002");jedis.sadd("orders", "jd003");Set<String> set1 = jedis.smembers("orders");for (Iterator iterator = set1.iterator(); iterator.hasNext(); ) {String string = (String) iterator.next();System.out.println(string);}// 删除set中的keyjedis.srem("orders", "jd002");System.out.println(jedis.smembers("orders").size());System.out.println("=================================================");// ====== Hashjedis.hset("hash1", "userName", "lisi");System.out.println(jedis.hget("hash1", "userName"));Map<String, String> map = new HashMap<String, String>();map.put("telphone", "13811814763");map.put("address", "atguigu");map.put("email", "abc@163");jedis.hmset("hash2", map);List<String> result = jedis.hmget("hash2", "telphone", "email");for (String element : result) {System.out.println(element);}System.out.println("=================================================");// ====== ZSetjedis.zadd("zset01", 60d, "v1");jedis.zadd("zset01", 70d, "v2");jedis.zadd("zset01", 80d, "v3");jedis.zadd("zset01", 90d, "v4");Set<String> s1 = jedis.zrange("zset01", 0, -1);for (Iterator iterator = s1.iterator(); iterator.hasNext(); ) {String string = (String) iterator.next();System.out.println(string);}System.out.println("=================================================");}
9.4.3 事务提交
- 日常
/*** 测试事务*/
@Test
public void testTransaction() {Jedis jedis = new Jedis("192.168.1.104", 6381);//监控key,如果该动了事务就被放弃
// jedis.watch("serialNum");
// jedis.set("serialNum","s#####################");
// jedis.unwatch();Transaction transaction = jedis.multi();//被当作一个命令进行执行Response<String> response = transaction.get("serialNum");transaction.set("serialNum", "s002");response = transaction.get("serialNum");transaction.lpush("list3", "a");transaction.lpush("list3", "b");transaction.lpush("list3", "c");transaction.exec();//2 transaction.discard();System.out.println("serialNum***********" + response.get());}
- 加锁
/*** 测试事务*/
public boolean testLock() {Jedis jedis = new Jedis("192.168.1.104", 6381);int balance;// 可用余额int debt;// 欠额int amtToSubtract = 10;// 实刷额度jedis.watch("balance");jedis.set("balance","5");//此句不该出现,讲课方便。模拟其他程序已经修改了该条目balance = Integer.parseInt(jedis.get("balance"));if (balance < amtToSubtract) {jedis.unwatch();System.out.println("modify");return false;} else {System.out.println("***********transaction");Transaction transaction = jedis.multi();transaction.decrBy("balance", amtToSubtract);transaction.incrBy("debt", amtToSubtract);transaction.exec();balance = Integer.parseInt(jedis.get("balance"));debt = Integer.parseInt(jedis.get("debt"));System.out.println("*******" + balance);System.out.println("*******" + debt);return true;}}/**** 通俗点讲,watch命令就是标记一个键,如果标记了一个键, 在提交事务前如果该键被别人修改过,那事务就会失败,这种情况通常可以在程序中* 重新再尝试一次。* 首先标记了键balance,然后检查余额是否足够,不足就取消标记,并不做扣减; 足够的话,就启动事务进行更新操作,* 如果在此期间键balance被其它人修改, 那在提交事务(执行exec)时就会报错, 程序中通常可以捕获这类错误再重新执行一次,直到成功。* @param args*/
public static void main(String[] args){TestJedis test = new TestJedis();boolean retValue = test.testLock();System.out.println("main retValue-------: " + retValue);
}
9.4.4 主从复制
- 6379,6380启动,先各自先独立
- 主写
- 从读
9.5 JedisPool
9.5.1 获取Jedis实例需要从JedisPool中获取
9.5.2 用完Jedis实例需要返还给JedisPool
9.5.3 如果Jedis在使用过程中出错,则也需要还给JedisPool
9.5.4 案例见代码
- JedisPoolUtil
package com.feixun.redis.utils;import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.JedisPoolConfig;/*** @author feixun* @create 2021-01-18 14:33*/
public class JedisPoolUtil {private static volatile JedisPool jedisPool = null;//被volatile修饰的变量不会被本地线程缓存,对该变量的读写都是直接操作共享内存。private JedisPoolUtil() {}public static JedisPool getJedisPoolInstance() {if (null == jedisPool) {synchronized (JedisPoolUtil.class) {if (null == jedisPool) {JedisPoolConfig poolConfig = new JedisPoolConfig();poolConfig.setMaxActive(1000);poolConfig.setMaxIdle(32);poolConfig.setMaxWait(100 * 1000);poolConfig.setTestOnBorrow(true);jedisPool = new JedisPool(poolConfig, "192.168.1.104",6381);}}}return jedisPool;}public static void release(JedisPool jedisPool, Jedis jedis) {if (null != jedis) {jedisPool.returnResourceObject(jedis);}}
}
- TestJedisPoolUtil
JedisPool.getResource();
package com.feixun.redis;import com.feixun.redis.utils.JedisPoolUtil;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;/*** @author feixun* @create 2021-01-18 14:35*/
public class TestJedisPoolUtil {public static void main(String[] args) {JedisPool jedisPool = JedisPoolUtil.getJedisPoolInstance();Jedis jedis = null;try {jedis = jedisPool.getResource();jedis.set("k18", "v183");} catch (Exception e) {e.printStackTrace();} finally {JedisPoolUtil.release(jedisPool, jedis);}}
}
9.5.5 配置总结all
-
JedisPool的配置参数大部分是由JedisPoolConfig的对应项来赋值的。
-
maxActive:控制一个pool可分配多少个jedis实例,通过pool.getResource()来获取;如果赋值为-1,则表示不限制;如果pool已经分配了maxActive个jedis实例,则此时pool的状态为exhausted。
-
maxIdle:控制一个pool最多有多少个状态为idle(空闲)的jedis实例;
-
whenExhaustedAction:表示当pool中的jedis实例都被allocated完时,pool要采取的操作;默认有三种。
WHEN_EXHAUSTED_FAIL --> 表示无jedis实例时,直接抛出NoSuchElementException;
WHEN_EXHAUSTED_BLOCK --> 则表示阻塞住,或者达到maxWait时抛出JedisConnectionException;
WHEN_EXHAUSTED_GROW --> 则表示新建一个jedis实例,也就说设置的maxActive无用; -
maxWait:表示当borrow一个jedis实例时,最大的等待时间,如果超过等待时间,则直接抛JedisConnectionException;
-
testOnBorrow:获得一个jedis实例的时候是否检查连接可用性(ping());如果为true,则得到的jedis实例均是可用的;
-
testOnReturn:return 一个jedis实例给pool时,是否检查连接可用性(ping());
-
testWhileIdle:如果为true,表示有一个idle object evitor线程对idle object进行扫描,如果validate失败,此object会被从pool中drop掉;这一项只有在timeBetweenEvictionRunsMillis大于0时才有意义;
-
timeBetweenEvictionRunsMillis:表示idle object evitor两次扫描之间要sleep的毫秒数;
-
numTestsPerEvictionRun:表示idle object evitor每次扫描的最多的对象数;
-
minEvictableIdleTimeMillis:表示一个对象至少停留在idle状态的最短时间,然后才能被idle object evitor扫描并驱逐;这一项只有在timeBetweenEvictionRunsMillis大于0时才有意义;
-
softMinEvictableIdleTimeMillis:在minEvictableIdleTimeMillis基础上,加入了至少minIdle个对象已经在pool里面了。如果为-1,evicted不会根据idle time驱逐任何对象。如果minEvictableIdleTimeMillis>0,则此项设置无意义,且只有在timeBetweenEvictionRunsMillis大于0时才有意义;
-
lifo:borrowObject返回对象时,是采用DEFAULT_LIFO(last in first out,即类似cache的最频繁使用队列),如果为False,则表示FIFO队列;
其中JedisPoolConfig对一些参数的默认设置如下:
- testWhileIdle=true
- minEvictableIdleTimeMills=60000
- timeBetweenEvictionRunsMillis=30000
- numTestsPerEvictionRun=-1
更多推荐
Redis 知识总结
发布评论