详解Redis 缓存删除机制(源码解析)_Redis_

 typedef struct redisDb { dict *dict; // 所有的键值对 dict *expires; //设置了过期时间的键值对 // ... } redisDb; 

 // src/expire.c /* EXPIRE key seconds */ void expireCommand(client *c) { expireGenericCommand(c,mstime(),UNIT_SECONDS); } 

 // src/expire.c /* PEXPIRE key milliseconds */ void pexpireCommand(client *c) { expireGenericCommand(c,mstime(),UNIT_MILLISECONDS); } 

 // src/expire.c /* EXPIREAT key time */ void expireatCommand(client *c) { expireGenericCommand(c,0,UNIT_SECONDS); } 

 // src/expire.c /* PEXPIREAT key ms_time */ void pexpireatCommand(client *c) { expireGenericCommand(c,0,UNIT_MILLISECONDS); } 

 // src/expire.c void expireGenericCommand(client *c, long long basetime, int unit) { robj *key = c->argv[1], *param = c->argv[2]; // 获取数据对象 long long when; if (getLongLongFromObjectOrReply(c, param, &when, NULL) != C_OK) return; // 将时间转化成以 ms 为单位 if (unit == UNIT_SECONDS) when *= 1000; when += basetime; // 在 master 节点上，如果设置的过期时间小于当前时间，那么将命令转化成 DEL 指令 if (when <= mstime() && !server.loading && !server.masterhost) { robj *aux; int deleted = server.lazyfree_lazy_expire ? dbAsyncDelete(c->db,key) : dbSyncDelete(c->db,key); // ... // 将删除命令同步给 slave 和 AOF // ... } else { // 设置过期时间 setExpire(c,c->db,key,when); // ... // 构造返回值和发布对象更新消息 // ... return; } } 

 // src/db.c void setExpire(client *c, redisDb *db, robj *key, long long when) { dictEntry *kde, *de; // 找出 db->dict 中对应的存储对象，这里的查询和用 get 查询数据是逻辑一样，通过 hashFunc(key) & sizemask // 找到 bucket 后在链表中遍历 kde = dictFind(db->dict,key->ptr); // 找出 db->expires 中对应的存储对象，如果没有则新建一个 de = dictAddOrFind(db->expires,dictGetKey(kde)); // dictSetSignedIntegerVal(de,when); // ... } #define dictSetSignedIntegerVal(entry, _val_) \ do { (entry)->v.s64 = _val_; } while(0) 

 typedef struct dictEntry { void *key; union { void *val; uint64_t u64; int64_t s64; double d; } v; struct dictEntry *next; } dictEntry; 

 // src/expire.c /* TTL key */ void ttlCommand(client *c) { ttlGenericCommand(c, 0); } 

 // src/expire.c /* PTTL key */ void pttlCommand(client *c) { ttlGenericCommand(c, 1); } 

 // src/expire.c /* Implements TTL and PTTL */ void ttlGenericCommand(client *c, int output_ms) { // ... // key 不存在时报错 // ... // 获取过期时间，如果没有过期时间则 expire = getExpire(c->db,c->argv[1]); if (expire != -1) { ttl = expire-mstime(); if (ttl < 0) ttl = 0; } if (ttl == -1) { addReplyLongLong(c,-1); } else { // 根据指定的单位返回结果，以秒为单位时向上取整 addReplyLongLong(c,output_ms ? ttl : ((ttl+500)/1000)); } } 

 // src/expire.c // 返回过期时间的绝对时间 long long getExpire(redisDb *db, robj *key) { dictEntry *de; // 查询对象 if (dictSize(db->expires) == 0 || // 如果返回为 NULL 表示没有设置过期时间，向上返回 -1 (de = dictFind(db->expires,key->ptr)) == NULL) return -1; // 获取 v.s64 return dictGetSignedIntegerVal(de); } #define dictGetSignedIntegerVal(he) ((he)->v.s64) 

 // src/db.c int expireIfNeeded(redisDb *db, robj *key) { mstime_t when = getExpire(db,key); mstime_t now; // 没有设置过期时间，直接返回 if (when < 0) return 0; // 从硬盘中加载数据时不执行过期操作 if (server.loading) return 0; // 参考 GitHub Issue #1525 // 对于 master，在执行 Lua Script 的过程中，可能会用某个 key 是否存在当作判断条件 // 为了避免一个脚本中前后条件不一致，将当前时间强制设为脚本开始时间 now = server.lua_caller ? server.lua_time_start : mstime(); // 对于 slave，返回此时 key 是否已过期，但不执行后续删除操作 if (server.masterhost != NULL) return now > when; // key 未过期 if (now <= when) return 0; // 统计过期 key 的个数 server.stat_expiredkeys++; // 向所有的 slave 和 AOF 文件写入一条 DEL 指令 propagateExpire(db,key,server.lazyfree_lazy_expire); // 向 keyspace channel 中发布一条 key 过期的消息 notifyKeyspaceEvent(NOTIFY_EXPIRED, "expired",key,db->id); // 根据配置决定是同步删除还是异步删除（仅删除引用，由后台线程执行物理删除） return server.lazyfree_lazy_expire ? dbAsyncDelete(db,key) : dbSyncDelete(db,key); } 

 -- /tmp/myscript.lua if redis.call("exists",KEYS[1]) == 1 then redis.call("incr","mycounter") end if redis.call("exists",KEYS[1]) == 1 then return redis.call("incr","mycounter") end 

 while [ 1 ] do redis-cli set x foo px 100 > /dev/null sleep 0.092 redis-cli --eval /tmp/myscript.lua x > /dev/null sleep 0.1 redis-cli get mycounter redis-cli -p 6380 get mycounter done 

 void activeExpireCycle(int type) { // ... // 依次遍历各个 db for (j = 0; j < dbs_per_call && timelimit_exit == 0; j++) { int expired; redisDb *db = server.db+(current_db % server.dbnum); // 记录下一个执行的 db，这样如果因为超时意外退出，下次可以继续从这个 db 开始， // 从而在所有 db 上均匀执行清除操作 current_db++; do { // ... // 跳过没有设置过期时间的 key 等不需要执行的情况 // ... // 抽样个数，默认为 20 if (num > ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP) num = ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP; // 从设置了过期时间的 key 中随机抽取 20 个 while (num--) { dictEntry *de; long long ttl; // 随机挑选 dict 中的一个 key if ((de = dictGetRandomKey(db->expires)) == NULL) break; ttl = dictGetSignedIntegerVal(de)-now; // 执行删除，具体删除操作和惰性删除中类似 if (activeExpireCycleTryExpire(db,de,now)) expired++; // ... } // ... // 更新统计数据等操作 // ... // 如果每次删除的 key 超过了样本数的 25%，说明过期键占的比例较高，需要再重复执行依次 } while (expired > ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP/4); } // ... } 

 // src/dict.c /* Return a random entry from the hash table. Useful to * implement randomized algorithms */ dictEntry *dictGetRandomKey(dict *d) { dictEntry *he, *orighe; unsigned long h; int listlen, listele; // 没有数据，返回为 NULL，外层函数接收到 NULL 后会中断过期操作的执行 if (dictSize(d) == 0) return NULL; // 根据 rehashidx 参数判断是否正在执行 rehash，如果正在执行， // 则先执行 rehash 中的一个步骤 if (dictIsRehashing(d)) _dictRehashStep(d); if (dictIsRehashing(d)) { do { // 正在执行 rehash，所以两个 ht 中的对象都要考虑 // // 由于正在执行 rehash，所以可以肯定 ht[0] 中下标小于等于 rehashidx 的 bucket // 肯定没有数据，所以只从 ht[0] 中大于 rehashidx 的 bucket 和 ht[1] 中抽取 h = d->rehashidx + (random() % (d->ht[0].size + d->ht[1].size - d->rehashidx)); he = (h >= d->ht[0].size) ? d->ht[1].table[h - d->ht[0].size] : d->ht[0].table[h]; // 取到空 bucket 时重试 } while(he == NULL); } else { do { // 参考写入 ht 时计算下标的规则 hashFunc(key) & sizemake // 这里 random() & sizemask 是随机取一个下标 h = random() & d->ht[0].sizemask; he = d->ht[0].table[h]; // 取到空 bucket 时重试 } while(he == NULL); } // 到这一步 he 是 ht[n] 中某个 bucket 中完整的链表 // 所以还要从这个链表中随机取一个对象 // 遍历计算整个链表的长度 listlen = 0; orighe = he; while(he) { he = he->next; listlen++; } // 随机取链表中某个对象的下标 listele = random() % listlen; he = orighe; // 重新遍历链表获取指定下标的对象 while(listele--) he = he->next; return he; } 

 // src/server.c int main(int argc, ch
                
提示：
                    本文由神整理自网络，如有侵权请联系本站删除！
                    

                    本站声明： 

                    1、本站所有资源均来源于互联网，不保证100%完整、不提供任何技术支持； 

                    2、本站所发布的文章以及附件仅限用于学习和研究目的;不得将用于商业或者非法用途；否则由此产生的法律后果，本站概不负责！
                
                

                

                                            
上一篇：使用SpringBoot集成redis的方法_Redis_
                                                                
下一篇：如何自定义redis工具jar包供其他SpringBoot项目直接使用_Redis_