自建数据湖方案

[ihnfsa]

导师让做数据湖的大模型应用，但是我没有实际的数据湖可以用，有点无米之炊。各位老哥知道什么开源的基于 S3 协议的数据湖搭建方案吗？

[dayeye2006199]

什么是数据湖的大模型应用？两个名词堆一块儿了？

[ihnfsa]

@dayeye2006199 我也只知道几个关键字，AI Agent + RAG + 数据湖

[dog82]

数据湖炒概念的成分更大，我没找到市面上的成功案例。我对国云数据的魔镜稍微了解一点，楼主去看看 http://www.moojnn.com/product-center/publicinto.html

[ihnfsa]

@dog82 好的，谢谢哥

[yjhatfdu2]

开源数据糊一般是指 apache hudi 、apache iceberg 和 delta lake ，但这玩意儿都还是适合写入为主，偶尔批量计算的场景，不适合实时查询，和 AI Agent 、RAG 有啥关系？

[ihnfsa]

@yjhatfdu2 我也没搞清楚，现在想的是能不能把 Text2SQL 用在湖上一些查询系统上，类似于这种 https://help.aliyun.com/zh/dms/release-the-ai-agent

[CadonHo]

数据湖就是一个存储，特点就是各种数据格式都能存。不过有一说一，大模型的应用不是应该往垂直领域找么，这个跟数据湖关系不大吧，数据湖就是大模型应用中的一个环节而已。

[hero1874]

数据湖和大模型这俩关系挂靠在一起，有点违和
看你上面说的 AI Agent + RAG + 数据湖
是把数据湖作为 RAG 的外部数据来源吗，数据湖里存一些非结构化的数据
数据湖可以看看 Apache Paimon 这个倒支持流式读写，批读写，也支持 S3

[opengps]

先把数据湖改个名，叫对象存储，理解起来瞬间容易不少

[zlo309618100]

啥是数据湖？文盲.jpg

[roidinev]

是啊， 大模型的应用应该往垂直领域找。除非你想研究出论文：比如研究大模型对存储吞吐量/延迟的需求，优化数据湖等。

[wheat0r]

导师：我啥也不懂，你们弄好了挂我一作

[ZGame]

首先你要确定你的大模型需要的数据,再去考虑技术栈会不会合适点...

[mightybruce]

你的题目写得不对，数据湖和对象存储是两个东西
大模型应用和这个也没有关系。
要么导师误入子弟，要么导师没有说清楚，需要再次沟通。

[sampeng]

灰常简单啊。。
搭个 mysql 。咯。这就是数据糊

[o562dsRcFqYl375i]

@CadonHo 正解

[yalin]

AWS 云方案？

[o562dsRcFqYl375i]

@opengps 👍

[c3de3f21]

flink + paimon + trino [ connector + store + search]

[c3de3f21]

@c3de3f21 收了数据有了实时数据流喂给模型？练个大模型？真是不是你说的 数据湖的大模型应用？应付一下吧