自建数据湖方案

[ihnfsa]

导师让做数据湖的大模型应用，但是我没有实际的数据湖可以用，有点无米之炊。各位老哥知道什么开源的基于 S3 协议的数据湖搭建方案吗？

[yjhatfdu2]

数据糊技术显然是为了写入和低成本优化的，查询速度会慢的离谱（正常场景下），例如使用 apache hudi ，即使使用了记录级索引，在 1TB20 亿行数据中使用索引取一行也要 12 秒，取 40000 行要 115 秒（来源 https://hudi.apache.org/blog/2023/11/01/record-level-index/），这在 RAG 的场景中简直是离谱

[yjhatfdu2]

其实现在技术上几种数据糊技术核心的目的是解决传统 hadoop 系统中，parquet 等列存格式，难以支持 ACID 和事务的问题