🙏🏻🙏🏻🙏🏻我是个小公司桌面运维，老板让我给他开发个 AI 大模型……

[oColtono]

如题
我在一家非 IT 行业的公司干桌面运维，说是运维其实啥都干，简单的服务器运维、直播推流、摄影摄像等等。老板基本上是个技术盲，在他眼里，技术相关的问题我全知道。

他想要有一个 AI ，把一位哲学家（比较小众）的文集通读一遍（大概 40 万字）。然后扮演这位哲学家，充当聊天机器人。这个聊天机器人的用户量估计不会太高（小众圈子里面流传一下），最多也就 1000 人左右（并发可能就 30 人以内）。

我说我干不来，他表示让我至少给个方案，适当招两个人，或者找人外包都行。

从头搞个 AI 模型我猜是不可能的，我大概想法是租个云服务器，给 Llama 3 或类似的开源模型喂点数据，然后套个前端。

希望懂行的朋友告诉我一下我的想法是否可行？以及这个事情工作量大不大。如果可行的话，我就去着手研究一下怎样微调 Llama 3 ，然后给老板一个方案。

[BadFox]

好炸裂的需求，更炸裂的是你居然真的想去干。

[abersheeran]

从技术上可以，从工作上来说我建议不要这么给老板说。把工作量说多一些，多要几个 HC 。

[newaccount]

先把硬件配上，4090 两块，一块放公司跑模型，一块放家里玩黑神话啊不是，一块在家里做技术研究

[gaobh]

fastgpt 把文章传上去，然后写个 prompt ，然后给老板 gpt 的链接就行了

[Huangzi7]

@newaccount 今天请假，原因：🐒流感

[zfyStars]

是不是只需要写个 prompt ？

[RiverMud]

预算。

预算到位什么想法都可行。

[whp1473]

把书喂给 kimi ，然后让它扮演哲学家就可以了，不需要祖云服务器

[HuberyPang]

https://www.v2ex.com/t/1022439#reply81 感觉参考这个思路，就是把文集构建向量数据库，然后搞个开源大模型，或者购买个大模型 AI 接口 查询问题时，先查向量数据库，然后把结果给大模型，然后让大模型在回答。

[idealhs]

GPT 预设个角色就 OK 了,数据的话 OpenAI 已经学过了

[frencis107]

《这个聊天机器人的用户量估计不会太高》

在国内做，有合规问题吧，别进去了

[ETiV]

我觉得上面配两块 4090 的建议靠谱些

[fengshils]

我也觉得上面配两块 4090 的建议靠谱些

[oColtono]

@frencis107 #11 谢谢提醒，这个我也跟老板说过了。老板头铁得很，好在这个圈子实在影响力有限，他之前搞的一些别的骚操作都没兴起什么风浪
最后要做的时候我会跟法务确认一下。如果确实有问题老板还要坚持做的话，我就让他自己去找外包了。

[oColtono]

@newaccount #3 hhh ，这事我也不是没想过

[oColtono]

@HuberyPang #9 谢谢！！这个看起来很接近我想要的东西了

[oColtono]

@whp1473 #8 考虑过，如果这样的话，工作量就几乎都在前端上了。还有一个担忧是，kimi 这类线上 AI 是否能够微调的程度有限，我怕多问几句，它就露馅了，比如自报家门说我是 kimi ，只是一个人工智能之类的？

[weiaichongfeng]

可以的这个实现思路没问题

老板不懂所以会说出让你开发个大模型，完成核心诉求就好，只是同时要拿到你自己想要的钱就更好

对于懂行的人来说，不算大，用户界面部份开源的部署一下就好，Llama 3 部署一下，一天之内就能搞定，喂数据麻烦点，但网上也有教程搜搜就行了

不懂行的挺麻烦的 工作量很大
https://ollama.com/
https://github.com/lobehub/lobe-chat

[particlec]

github 有现成的 ai 聊天前端界面，给 token 就行

[aw2350]

老板挺有追求的