Redis map

Golang map


内部都是两个哈希表,用于扩容,但Go中叫做buckets和oldbuckets,Redis中是一个数组,大小为2。
Go:8key+8val作为一个bucket,后面可以链式挂接更多overflow(固定为8)的bucket
Redis:key+val作为一个dictEntity,后面可以链式挂接更多dictEntity
哈希方式
Go: 根据key的不同哈希值,将其散落到不同的桶中。哈希值的低位(哈希值的后B个bit位)决定桶序号,高位(哈希值的前8个bit位)标识同一个桶中的不同 key。当向桶中添加了很多 key,造成元素过多,超过了装载因子所设定的程度,或者多次增删操作,造成溢出桶过多,均会触发扩容。
增量扩容,会增加桶的个数(增加一倍),把原来一个桶中的 keys 被重新分配到两个桶中。
等量扩容(解决大量插入删除后overflow过多,占用过于稀疏)不会更改桶的个数,只是会将桶中的数据变得紧凑。
Redis: 首先通过MurmurHash算法求出key的hash值,再对桶的个数(即dictht的size字段)取模,得到对应的桶,再进入桶中,遍历全部entry,判定是否已有相同的key,如果没有,则将新key对应的键值对插入到桶头,并且更新dictht的used数量,used表示当前hash表中已经存了多少元素。每次插入key-value对时,都需要对某一个桶中的全部entry进行遍历,确保没有重复的key。当一个桶中的entry很多时,hash表的插入性能会线性下降。当它下降到一定程度时,需要增加桶的个数以减少hash冲突。
冲突解决方式
相同:拉链法
不同:Redis的链表直接存在每个数据(dictEntity)后,Go由8个k-v组成一个bucket,然后再挂接overflow bucket
rehash
-
相同:装载因子的概念, 渐进式扩容
-
不同:触发扩容的时机 Go在赋值、删除时检测装载因子和拉链长度,Redis在增删查改时都会检查是否需要rehash
-
不同:触发扩容的条件
Go:bucket内(可以存储8个k-v)的平均个数超过6.5或单个bucket的overflow超过bucket数会进行扩容;
Redis:负载因子=哈希表中已有元素/哈希桶数:
小于1时一定不扩容
大于5时一定扩容
介于1-5时,Redis如果没有进行bgsave/bgrewrite操作时则会扩容
每个key平均存储了不到0.1个数据,则进行缩容
渐进式扩容
- 相同:第一次先分配空间,后面再渐进搬迁
- 不同:Go只在增删操作时搬迁,Redis在增删查改操作时都会进行渐进搬迁操作
缩容
Go只保存了当前的bucket size,新bucket一定是旧bucket大小的两倍,不支持缩容。
Redis的缩容:两个子表记录了自己的大小,缩容即扩容的逆过程
本文探讨了Redis和Golang map的哈希实现方式。两者都使用哈希表,但Go中称为buckets和oldbuckets,Redis采用数组。在冲突解决上,两者都使用拉链法,但细节不同。扩容策略上,Go采用增量扩容,Redis则在负载因子达到特定阈值时进行。此外,Redis支持渐进式扩容和缩容,而Go不支持缩容。
2137

被折叠的 条评论
为什么被折叠?



