最近重构了一下自己的分布式缓存方案,是 cache-aside 模式的二级缓存( memory+redis )实现,目前已经在线上投入使用,经过百万日活的验证。
内存部分是采用的是 sync.Map, 读取缓存的时候先从内存读,如果未读到则去读 redis,如果 redis 未读到,则根据定义的加载函数加载到 redis 和内存。
缓存有 lazy 模式,为了避免缓存被击穿,可以设置 lazy 模式,缓存数据存活的时间更久,但是每次读取的时候依然会判断数据是否是最新的,不是最新的话会异步加载更新。
通过 redis 的 Publish/Subscribe 功能,实现缓存的分布式更新,目前仅实现删除同步。
因为是很轻量级的,所以性能理论上会很不错,测试 1000 个并发毫无压力,有兴趣的同学可以验证一下。理论上性能的瓶颈在于加载函数(数据库的查询,网络请求等)。
项目地址 https://github.com/seaguest/cache
顺便推荐一下自己另外两个小项目:
https://github.com/seaguest/ratelimit
参考网上 token-bucket lua 脚本实现的分布式限速器,性能取决于 redis。
https://github.com/seaguest/jsonvalidator
基于 json 模板的一个 json 校验工具,源于自己想做个 REST API 的自动化测试 /监控工具,实现 json 请求,返回 json 结果自动校验,支持 go-playground/validator 的语法以及正则表达式验证。
欢迎大家批评指正 提建议,求 star ~~~