请教一下，谁了解 OpenAI 内部数据工程的技术栈？

[levelworm]

我搜了一下领英的招聘，他们公司特地写的很模糊，什么信息也没有。我也问了下 ChatGPT ，但是怕她瞎扯。求问网友有没有知道的？

我了解的是他们用 azure 云，数据库这块有 Spark 和 MySQL ，但是没看到向量数据库，不知道用不用。

[janus77]

他们公司不是有开源项目吗，去翻代码就知道了

[knightdf]

向量数据库应该是用的，但是具体是哪个就不知道了，他们的 notebook 里有推荐：
https://github.com/openai/openai-cookbook/blob/main/examples/vector_databases/Using_vector_databases_for_embeddings_search.ipynb

[zwpaper]

之前看过他们调优 k8s 的文章，应该还挺先进的

[Baboonowen]

微软为了 GPT4 改了 Azure ，说不定 OpenAI 用的和你看到的公开 azure 功能也很不一样。

[levelworm]

@janus77 有道理，我去看一下

[levelworm]

@knightdf 多谢，里头好像是 pinecone

[levelworm]

@zwpaper 多谢，正好要学 k8s ，他们是魔改源代码吗？

[levelworm]

@Baboonowen 的确，只能在内部能看到了。。。

[zwpaper]

不是魔改，只是大集群优化，几年前他们就跑了一个 2.5k 个节点的集群，作为一个 AI 公司，能容器化，还跑这么一个大集群，真不错了

[cassyfar]

@levelworm 貌似是自己搭的 k8s ，不是 azure 托管的。网络的问题，这个 scale 云计算托管其实就好了。

[levelworm]

@zwpaper 有点意思啊

[zwpaper]

@cassyfar #10 AI 容器化和应用容器化还是有些差异，能自己下场去维护 k8s 还是能做不少定制的，当前，现在有微软这个大腿，Azure 帮 OpenAI 定制 k8s 这个托管就更厉害了

[levelworm]

@zwpaper 求问这个下场维护 k8s ，指的是根据需求修改一部分源代码吗？