[请教]Spring Boot 使用 Redis,缓存集合数据的疑问

2022-08-11 10:12:35 +08:00
 fox0001

Spring Boot 集成 Redis ,使用 @Cacheable 等注解,以 ID 为 key ,可以方便地缓存数据。但是如果要缓存一个集合的数据,同时需要读取或更新其中某条数据的情况下,怎样做才是最近实践?

比如国家和地区数据,有 ID 、国家和地区名称等,最多 200 多条。这种数据变化频率极低,更新缓存可以忽略。只是有时需要获取所有数据(比如修改地址选国家),有时需要获取一条数据(比如显示地址)。

方案 1 ,使用 List 对象缓存所有国家。

取所有国家时,就是从 Redis 获取这个 List 对象。但是取一个国家时,需要或者这个 List 对象,再取出指定 ID 的数据。或者把 List 换成 LinkedHashMap ,提高获取单条数据的效率。但是,为了取一条数据而把所有国家从 Redis 反序列化出来,感觉有点浪费性能,甚至还不如直接从数据库取(这里需要测试对比)。

方案 2 ,只缓存单条国家数据。

就是 getCountryById 方法加上 @Cacheable 注解,提高获取单个国家的效率,而且这个使用场景更多。需要获取所有国家的话,直接查数据库。

方案 3 ,单条国家数据和所有国家数据分开缓存。

getCountryById 和 findAllCountries 两个方法都加上 @Cacheable 注解,各自的缓存 key 不同。缺点是缓存了两份相同的数据,更新缓存时还得两边都处理。

方案 4 ,使用 Redis 的 List 或者 Hash 数据类型进行缓存。

完美支持一次过获取全部数据和只获取单条数据的场景。更新时不用全部更新。缺点是不能使用 @Cacheable 等注解。

或者有没有更好的方案?

2646 次点击
所在节点    Java
22 条回复
Saxton
2022-08-11 10:25:34 +08:00
“感觉有点浪费性能,甚至还不如直接从数据库取”

内存和磁盘 IO 哪个快?
hhhhhh123
2022-08-11 10:42:15 +08:00
不懂 java 但是这种场景 你想 o(1) 的话, 可以用 set ,key: '{''国家 1":xx, "国家 2":xx}' 用 json 就好了,才 200+个 key 而已 . 每次使用 取出 key ,然后使用 json 转一下就行。
fox0001
2022-08-11 10:42:25 +08:00
@Saxton #1 因为 Hibernate 开启了二级缓存,所以不会每次都直接查数据库
LeegoYih
2022-08-11 10:50:22 +08:00
具体问题具体分析,像国家这种数据,启动服务实例时,直接存在本地内存也没关系,因为不可能会出现下一秒就多一个或少一个国家情况,当前,为了以防万一可以加一个刷新接口。

城市也是一样的,可以把热门城市放在本地内存,其他城市可以走缓存或数据库。
hidemyself
2022-08-11 10:52:17 +08:00
你们很缺内存吗?这点数据量就是全部 load 到内存,会有多大影响
simonlu9
2022-08-11 10:56:33 +08:00
cacheable 比较不好用,不能再同一个类使用,同类调用方法不生效,不能单独设置过期时间,比较坑,只能缓存列表,其他数据结构也用不上
DeepRedApple
2022-08-11 11:01:27 +08:00
直接使用 guava cache 缓存到内存里面,定时或者 LRU 更新读库就好了
cheng6563
2022-08-11 11:03:24 +08:00
Redisson
vgbhfive
2022-08-11 11:34:15 +08:00
数据缓存到 redis 中,服务重启 load 到内存里,更新的时候先更新内存,在更新 redis 缓存。
qinxi
2022-08-11 11:53:10 +08:00
@simonlu9 #6
不能再同一个类使用,同类调用方法不生效 这个属于 spring aop 的问题. 调用默认使用的 this 不是 spring 代理的对象, 因此 aop 不生效. 我一般采用自己注入自己(@Lazy), 调用同类方法时用注入的对象调.

过期时间这个确实不支持. 所以我自己写了一个带过期时间的 Cacheable
monmon
2022-08-11 14:05:43 +08:00
使用 Hash 类型存储单个国家数据,需要获取多个国家时使用 executePipelined 读取
issakchill
2022-08-11 15:40:42 +08:00
如果是非分布式应用,直接用本地缓存好了
stonewu
2022-08-11 15:50:09 +08:00
之前工作中使用的是方案 3 ,需要更新数据时,通过 @Caching+@CacheEvict 注解同时清除多个缓存
lmshl
2022-08-11 15:58:54 +08:00
我选方案 5 ,把国家列表缓存到内存中,性能起码吊打 Redis 100 条街
leogm9408leo
2022-08-11 16:01:59 +08:00
可枚举的、低频变更的数据,直接加载到内存里好了,存 redis 还要走网络 IO 和序列化
fox0001
2022-08-11 16:03:07 +08:00
@lmshl #14 是的,这是性能最佳。不过要做好更新缓存的接口。
themostlazyman
2022-08-11 16:44:37 +08:00
如果是 web 的话,性能最佳直接放客户端了。单机可以直接放内存,多机还是 redis 吧,方便维护。
siweipancc
2022-08-12 13:48:26 +08:00
简单业务用抽象,不然老实用客户端。

或者自定义抽象,那就等同于维护了一套新的架构。
zhady009
2022-08-12 15:00:57 +08:00
@Cacheable 有 keyGenerator 和 cacheResolver 来自定义需求
本地内存更新推荐用 Redisson 里的 RLocalCachedMap
golangLover
2022-08-27 23:33:52 +08:00
@fox0001 想请问一下你们关于 hibernate 二级缓存的问题,因为我们自己也在用,但有点问题我想不通。先谢谢了。

主要是我们对客户端的服务上用了二级缓存。问题是这个服务本身是可以被外部修改的(例如管理页面),但是管理页面跟这个服务是分离的。也就是说管理页面的修改其实并不能直接反应到这个服务上。那我们就想可不可以直接清除所有 cache ,但是这样做会有缓存雪崩的问题。问题是这个管理页面其实同时间可能修改颇为多的表,例如更新一个 store 页面,其实可能在更新三个表,那管理页面的清楚 cache 应该如何准确的 evict 掉这三个表的缓存呢。然而我们可能在管理页面可以改掉几十个表的。而且不同服务之间应该属于不同的 session factory, 应该也不能共用吧。请问你们是如何解决掉这个问题的。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/872090

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX