目录
简介
Redis没有直接使用C语言传统的字符串表示(以空字符结尾的字符数组,以下简称C 字符串),而是自己构建了一种名为简单动态字符串(simple dynamic string, SDS)的抽象 类型,并将SDS用作Redis的默认字符串表示。
在Redis里面,C字符串只会作为字符串字面量(string literal)用在一些无须对字符串 值进行修改的地方,比如打印日志:
redisLog(REDIS_WARNING,"Redis is now ready to exit, bye bye");
当Redis需要的不仅仅是一个字符串字面量,而是一个可以被修改的字符串值时,Redis 就会使用SDS来表示字符串值,比如在Redis的数据库里面,包含字符串值的键值对在底 层都是由SDS实现的。
举个例子,如果客户端执行命令:
redis> SET msg "hello world" OK
那么Redis将在数据库中创建一个新的键值对,其中:
键值对的键是一个字符串对象,对象的底层实现是一个保存着字符串"msg"的SDS。
键值对的值也是一个字符串对象,对象的底层实现是一个保存着字符串"hello world"的SDS。
又比如,如果客户端执行命令:
redis> RPUSH fruits "apple" "banana" "cherry" (integer) 3
那么Redis将在数据库中创建一个新的键值对,其中:
键值对的 一一个字符串对象,对象的底层实现是一个保存了字符串"fruits"的SDS。
键值对的值是一个列表对象,列表对象包含了三个字符串对象,这三个字符串对象分别由三个SDS实现:第一个SDS保存着字符串"apple", 第二个SDS保存着字 符串"banana", 第三个SDS保存着字符串"cherry"。
除了用来保存数据库中的字符串值之外,SDS还被用作缓冲区(buffer) : AOF模块中的AOF缓冲区,以及客户端状态中的输人缓冲区,都是由SDS实现的,在之后介绍AOF 持久化和客户端状态的时候,我们会看到SDS在这两个模块中的应用。
SDS的定义
每个sds.h/sdshdr结构表示一个SDS值:
展示了一个SDS示例:
free属性的值为0, 表示这个SDS没有分配任何未使用空间。
len属性的值为5, 表示这个SDS保存了一个五字节长的字符串。
buf属性是一个char类型的数组,数组的前五个字节分别保存了,R,e,d,i,s五个字符,而最后一个字节则保存了空字符,'\0 '
SDS遵循C字符串以空字符结尾的惯例,保存空字符的1字节空间不计算在SDS的 len属性里面,并且为空字符分配额外的1字节空间,以及添加空字符到字符串末尾等操 作,都是由SDS函数自动完成的,所以这个空字符对千SDS的使用者来说是完全透明的。 遵循空字符结尾这一惯例的好处是,SDS可以直接重用一部分C字符串函数库里面的函数。
举个例子,如果我们有一个指向图2-1所示SDS的指针s, 那么我们可以直接使用 <stdio.h>/printf函数,通过执行以下语句:
printf("毛s", s->buf);
来打印出SDS保存的字符串值"Redis", 而无须为SDS编写专门的打印函数。
图展示了另一个SDS示例。这个SDS和之前展示的SDS一样,都保存了字符串值 "Redis"。这个SDS和之前展示 的SDS的区别在于,这个SDS为 buf数组分配了五字节未使用空 间,所以它的free属性的值为5 (图中使用五个空格来表示五字节 的未使用空间)。
SDS与C字符串的区别
根据传统,C语言使用长度为N+1的字符数组来表示长度为N的字符串,并且字符数 组的最后一个元素总是空字符'\0'.
例如,图就展示了一个值为"Redis"的C字符串。
C语言使用的这种简单的字符串表示方式,并不能满足Redis对字符串在安全性、效率 以及功能方面的要求,本节接下来的内容将详细
对比C字符串和SDS之间的区别,并说明SDS比C字符串更适用于Redis的原因。
常数复杂度获取字符串长度
因为C字符串并不记录自身的长度信息,所 以为了获取一个C字符串的长度,程序必须遍历 整个字符串,对遇到的每个字符进行计数,直到 遇到代表字符串结尾的空字符为止,这个操作的 复杂度为O(N)。
举个例子,图展示了程序计算一个C字 符串长度的过程。
和C字符串不同,因为SDS在len属性中 记录了SDS本身的长度,所以获取一个SDS长 度的复杂度仅为O(1)。
举个例子,对于图所示的SDS来说,程 序只要访问SDS的len属性,就可以立即知道 SDS的长度为5字节。
设置和更新SDS长度的工作是由SDS的 APl在执行时自动完成的,使用SDS无须进行任 何手动修改长度的工作。
通过使用SDS而不是C字符串,Redis将 获取字符串长度所需的复杂度从O(N)降低到了O(1), 这确保了获取字符串长度的工作不会成为Redis的性能瓶颈。例如,因为字符串键在 底层使用SDS来实现,所以即使我们对一个非常长的字符串键反复执行STRLEN命令,也不会对系统性能造成任何影响,因为STRLEN命令的复杂度仅为O(1)。
杜绝缓冲区溢出
除了获取字符串长度的复杂度高之外,C字符串不记录自身长度带来的另一个问题是容 易造成缓冲区溢出(buffer overflow)。举个例子,<string.h>/strcat函数可以将src 字符串中的内容拼接到dest字符串的末尾:
因为C字符串不记录自身的长度,所以strcat假定用户在执行这个函数时,已经为 dest分配了足够多的内存,可以容纳src字符串中的所有内容,而一旦这个假定不成立 时,就会产生缓冲区溢出。
与C字符串不同,SDS的空间分配策略完全杜绝了发生缓冲区溢出的可能性:当SDS API需要对SDS进行修改时,API会先检查SDS的空间是否满足修改所需的要求,如果不 满足的话,API会自动将SDS的空间扩展至执行修改所需的大小,然后才执行实际的修改 操作,所以使用SDS既不需要手动修改SDS的空间大小,也不会出现前面所说的缓冲区溢 出问题。
举个例子,SDS的API里面也有一个用于执行拼接操作的sdscat函数,它可以将一个C字符串拼接到给定SDS所保存的字符串的后面,但是在执行拼接操作之前,sdscat 会先检查给定SDS的空间是否足够,如果不够的话,sdscat就会先扩展SDS的空间,然后才执行拼接操作。
例如,如果我们执行:
sdscat(s, "Cluster");
其中SDS值s如图所示,那么sdscat 将在执行拼接操作之前检查s的长度是否足够,在发现s目前的空间不足以拼接" Cluster" 之后,sdscat就会先扩展s的空间,然后才执行拼接"Cluster"的操作,拼接操作完成之后的SDS如图
注意,图所示的SDS, sdscat不仅对这个SDS进行了拼接操作,它还为SDS分 配了13字节的未使用空间,并且拼接之后的字符串也正好是13字节长,这种现象既不是 bug也不是巧合,它和SDS的空间分配策略有关,接下来对这一策略进行说明。
减少修改字符串时带来的内存重分配次数
正如前两个小节所说,因为C字符串并不记录自身的长度,所以对于一个包含了N个 字符的C字符串来说,这个C字符串的底层实现总是一个N+1个字符长的数组(额外的一 个字符空间用于保存空字符)。因为C字符串的长度和底层数组的长度之间存在着这种关联 性,所以每次增长或者缩短一个C字符串,程序都总要对保存这个C字符串的数组进行一 次内存重分配操作:
如果程序执行的是增长字符串的操作,比如拼接操作(append), 那么在执行这个操 作之前,程序需要先通过内存重分配来扩展底层数组的空间大小一一如果忘了这一 步就会产生缓冲区溢出。
如果程序执行的是缩短字符串的操作,比如截断操作(trim), 那么在执行这个操作 之后,程序需要通过内存重分配来释放字符串不再使用的那部分空间---如果忘了 这一步就会产生内存泄漏。
举个例子,如果我们持有一个值为"Redis"的C字符串s, 那么为了将s的值改为 "Redis Cluster", 在执行:
strcat(s, "Cluster");
之前,我们需要先使用内存重分配操作,扩展s的空间。
之后,如果我们又打算将s的值从"Redis Cluster"改为"Redis Cluster Tutorial", 那么在执行:
strcat (s, " Tutorial");
之前,我们需要再次使用内存重分配扩展s的空间,诸如此类。
因为内存重分配涉及复杂的算法,并且可能需要执行系统调用,所以它通常是一个比较 耗时的操作:
在一般程序中,如果修改字符串长度的情况不太常出现,那么每次修改都执行一次 内存重分配是可以接受的。
但是Redis作为数据库,经常被用于速度要求严苛、数据被频繁修改的场合,如果 每次修改字符串的长度都需要执行一次内存重分配的话,那么光是执行内存重分配 的时间就会占去修改字符串所用时间的一大部分,如果这种修改频繁地发生的话, 可能还会对性能造成影响。
为了避免C字符串的这种缺陷,SDS通过未使用空间解除了字符串长度和底层数组长 度之间的关联:在SDS中,buf数组的长度不一定就是字符数量加一,数组里面可以包含 未使用的字节,而这些字节的数量就由SDS的free属性记录。
通过未使用空间,SDS实现了空间预分配和惰性空间释放两种优化策略。
空间预分配
空间预分配用于优化SDS的字符串增长操作:当SDS的API对一个SDS进行修改, 并且需要对SDS进行空间扩展的时候,程序不仅会为SDS分配修改所必须要的空间,还会 为SDS分配额外的未使用空间。
其中,额外分配的未使用空间数量由以下公式决定:
如果对SDS进行修改之后,SDS的长度(也即是len属性的值)将小于1MB, 那么程序分配和len属性同样大小的未使用空间,这时SDS len属性的值将和free属性的值相同。
举个例子,如果进行修改之后,SDS的len将变成13字 节,那么程序也会分配13字节的未使用空间,SDS的buf数组的实际长度将变成 13+13+1=27字节(额外的一字节用于保存空字符)。
如果对SDS进行修改之后,SDS的长度将大于等于1MB, 那么程序会分配1MB的未 使用空间。举个例子,如果进行修改后,SDS的len将变成30MB, 那么程序会分 配1MB的未使用空间,SDS的buf数组的实 际长度将为30 MB + 1MB + 1byte。
通过空间预分配策略,Redis可以减少连续执行字 符串增长操作所需的内存重分配次数。
举个例子,对于图2所示的SDS值s来说, 如果我们执行:
sdscat(s, "Cluster");
那么sdscat将执行一次内存重分配操作,将SDS的长度修改为13字节,并将SDS的 未使用空间同样修改为13字节,如图
如果这时,我们再次对s执行:
sdscat(s, "Tutorial");
那么这次sdscat将不需要执行内存重分配,因为未使用空间里面的13字节足以保存 9字节的"Tutorial", 执行sdscat之后的SDS如图
在扩展SDS空间之前,SDS API会先检查未使用空间是否足够,如果足够的话,API 就会直接使用未使用空间,而无须执行内存重分配。
通过这种预分配策略,SDS将连续增长N次字符串所需的内存重分配次数从必定N次 降低为最多N次。
惰性空间释放
惰性空间释放用于优化SDS的字符串缩短操作:当SDS的API需要缩短SDS保存的 字符串时,程序并不立即使用内存重分配来回收缩短后多出来的字节,而是使用free属性 将这些字节的数量记录起来,并等待将来使用。
举个例子,sdstrim函数接受一个SDS和一个C字符串作为参数,移除SDS中所有 在C字符串中出现过的字符。
比如对于图所示的SDS值s来说,执行:
sdstrim(s, "XY"); 移除SDS字符串中的所有,X和,Y会将SDS修改成图
注意执行sdstrim之后的SDS并没有释放多出来的8字节空间,而是将这8字节空 间作为未使用空间保留在了SDS里面,如果将来要对SDS进行增长操作的话,这些未使用 空间就可能会派上用场。
举个例子,如果现在对s执行:
sdscat(s, "Redis");
那么完成这次sdscat操作将不需要执行内存重分配:因为SDS里面预留的8字节空 间已经足以拼接6个字节长的" Redis", 如图所示。
通过惰性空间释放策略,SDS避免了缩短字符串时所需的内存重分配操作,并为将来可 能有的增长操作提供了优化。
二进制安全
C字符串中的字符必须符合某种编码(比如ASCil), 并且除了字符串的末尾之外,字 符串里面不能包含空字符,否则最先被程序读人的空字符将被误认为是字符串结尾,这些限 制使得C字符串只能保存文本数据,而不能保存像图片、音频、视频、压缩文件这样的二 进制数据。
举个例子,如果有一种使用空字符来分割多个单词的特殊数据格式,如图所示, 那么这种格式就不能使用C字符串来保存,因为C字符串所用的函数只会识别出其中的 "Redi s", 而忽略之后的"Cluster".
虽然数据库一般用于保存文本数据,但使用数据库来保存二进制数据的场景也不少见, 因此,为了确保Redis可以适用于各种不同的使用场景,SDS的API都是二进制安全的 (binary-safe) , 所有SDSAPI都会以处理二进制的方式来处理SDS存放在buf数组里的数据, 程序不会对其中的数据做任何限制、过滤、或者假设,数据在写人时是什么样的,它被读取 时就是什么样。
这也是我们将SDS的buf属性称为字节数组的原因---Redis不是用这个数组来保存 字符,而是用它来保存一系列二进制数据。
例如,使用SDS来保存之前提到的特殊数据格式就没有任何问题,因为SDS使用len 属性的值而不是空字符来判断字符串是否结束,如图
通过使用二进制安全的SDS, 而不是C字符串,使得Redis不仅可以保存文本数据,还 可以保存任意格式的二进制数据。
兼容部分C字符串函数
虽然SDS的API都是二进制安全的,但它们一样遵循C字符串以空字符结尾的惯例: 这些API总会将SDS保存的数据的末尾设置为空字符,并且总会在为buf数组分配空间时 多分配一个字节来容纳这个空字符,这是为了让那些保存文本数据的SDS可以重用一部分 <string.h>库定义的函数。
举个例子,如图2-19所示,如果我们有一个保存文本数据的SDS值sds, 那么我们就可以 重用<string.h>/strcasecmp函数,使用它来对比SDS保存的字符串和另一个C字符串:
strcasecmp(sds->buf, "hello world");
这样Redis就不用自己专门去写一个函数来对比SDS值和C字符串值了。
与此类似,我们还可以将一个保存文本数据的SDS作为strcat函数的第二个参数, 将SDS保存的字符串追加到一个C字符串的后面:
strcat(c_string, sds->buf);
这样Redis就不用专门编写一个将SDS字符串追加到C字符串之后的函数了。
通过遵循C字符串以空字符结尾的惯例,SDS可以在有需要时重用<string.h>函数 库,从而避免了不必要的代码重复。
区别总结
SDSAPI
表列出了SDS的主要操作API。
重点回顾
Redis只会使用C字符串作为字面量,在大多数情况下,Redis使用SDS (Simple Dynamic String, 简单动态字符串)作为字符串表示。
比起C字符串,SDS具有以下优点:
1)常数复杂度获取字符串长度。
2)杜绝缓冲区溢出。
3)减少修改字符串长度时所需的内存重分配次数。
4)二进制安全。
5)兼容部分C字符串函数。