有大佬推荐一下合适的分布式文件系统和分布式文件缓存解决方案吗?

2020-04-14 00:52:08 +08:00
 cernard

需求是这样:

  1. 系统运行阶段,每一步配置会产生一个临时文件,下一步的配置需要读取这个临时文件的内容,想把这些文件放在内存中缓存,加速文件存储和读取,有什么推荐的框架吗?尝试过 Redis,原生不支持文件的存储,需要序列化和反序列化,这里的处理比较慢。

  2. 系统是分布式服务系统,不同的服务之间需要共享文件数据,这里做持久化存储,可选的框架就多了。不过想要最好和第 1 布中使用相同的框架,比如路径 /foo 访问的文件是内存中缓存的文件,路径 /bar 访问的是 HDD 中持久化的文件。这样方便统一开发使用。

总结一下需求:

最好是一个框架能支持分布式内存缓存和分布式文件存储两种功能,使用相同的方式读取,不过不同的路径可以声明为不同的存储介质。

如果不存在这样的框架,有什么成熟高效的架构可以推荐吗?

1029 次点击
所在节点    问与答
1 条回复
cernard
2020-04-14 10:35:10 +08:00
Alluxio 可以达到部分功能,但是不支持直接使用 memory 作为 cache,使用 hdfs cache 加上 Alluxio 的 UFS 映射可以吗?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/662148

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX