1
BadFox 96 天前
好炸裂的需求,更炸裂的是你居然真的想去干。
|
2
abersheeran 96 天前 4
从技术上可以,从工作上来说我建议不要这么给老板说。把工作量说多一些,多要几个 HC 。
|
3
newaccount 96 天前 57
先把硬件配上,4090 两块,一块放公司跑模型,一块放家里玩黑神话啊不是,一块在家里做技术研究
|
4
gaobh 96 天前 via iPhone 1
fastgpt 把文章传上去,然后写个 prompt ,然后给老板 gpt 的链接就行了
|
5
Huangzi7 96 天前 5
@newaccount 今天请假,原因:🐒流感
|
6
zfyStars 96 天前
是不是只需要写个 prompt ?
|
7
RiverMud 96 天前
预算。
预算到位什么想法都可行。 |
8
whp1473 96 天前
把书喂给 kimi ,然后让它扮演哲学家就可以了,不需要祖云服务器
|
9
HuberyPang 96 天前
https://www.v2ex.com/t/1022439#reply81 感觉参考这个思路,就是把文集构建向量数据库,然后搞个开源大模型,或者购买个大模型 AI 接口 查询问题时,先查向量数据库,然后把结果给大模型,然后让大模型在回答。
|
10
idealhs 96 天前
GPT 预设个角色就 OK 了,数据的话 OpenAI 已经学过了
|
11
frencis107 96 天前
《这个聊天机器人的用户量估计不会太高》
在国内做,有合规问题吧,别进去了 |
12
ETiV 96 天前 via iPhone
我觉得上面配两块 4090 的建议靠谱些
|
13
fengshils 96 天前
我也觉得上面配两块 4090 的建议靠谱些
|
14
oColtono OP @frencis107 #11 谢谢提醒,这个我也跟老板说过了。老板头铁得很,好在这个圈子实在影响力有限,他之前搞的一些别的骚操作都没兴起什么风浪
最后要做的时候我会跟法务确认一下。如果确实有问题老板还要坚持做的话,我就让他自己去找外包了。 |
15
oColtono OP @newaccount #3 hhh ,这事我也不是没想过
|
16
oColtono OP @HuberyPang #9 谢谢!!这个看起来很接近我想要的东西了
|
17
oColtono OP @whp1473 #8 考虑过,如果这样的话,工作量就几乎都在前端上了。还有一个担忧是,kimi 这类线上 AI 是否能够微调的程度有限,我怕多问几句,它就露馅了,比如自报家门说我是 kimi ,只是一个人工智能之类的?
|
18
weiaichongfeng 96 天前
可以的这个实现思路没问题
老板不懂所以会说出让你开发个大模型,完成核心诉求就好,只是同时要拿到你自己想要的钱就更好 对于懂行的人来说,不算大,用户界面部份开源的部署一下就好,Llama 3 部署一下,一天之内就能搞定,喂数据麻烦点,但网上也有教程搜搜就行了 不懂行的挺麻烦的 工作量很大 https://ollama.com/ https://github.com/lobehub/lobe-chat |
19
particlec 96 天前
github 有现成的 ai 聊天前端界面,给 token 就行
|
20
aw2350 96 天前
老板挺有追求的
|
21
Lamlam147 96 天前
我赞同楼上配两块 4090 的建议,属实靠谱
|
22
Jinnrry 96 天前 via iPhone
好炸裂的需求
更炸裂的是你居然真打算去干 更更炸裂的居然是有人给楼主出主意去自己干 我的建议,打电话联系百度文心一言的商务,然后把报价给老板 |
23
a1oyss0925 96 天前
kimi 套壳就完事了,不要想一些不切实际的
|
24
teasick 96 天前
好奇是哪位哲学家
|
25
xmumiffy 96 天前
国内的模型+rag 就行了,预算够 rag 都不用,直接上
|
26
osilinka 96 天前
李沐创业就是这个方向啊!
|
27
wccc 96 天前
买设备,合规备案. 要么上游 api 套壳
|
28
shitshit666 96 天前 via Android
中文用通义千问
|
29
aoling 96 天前
最靠谱的方案,Llama 3 ,其他的多问几句都会露馅穿帮的
|
30
fcten 96 天前
40 万字不需要微调
30 个并发两块 4090 是不够的 |
31
2ruowqe9r 96 天前 1
这个不是很简单吗?各种开源的方案就能解决,搞个知识库,使用 RAG ,写好提示词。
|
32
greycell 96 天前
全是开源方案可太多了,你标题起错了,不然下面已经全是推广自己方案的人了。
|
33
z1829909 96 天前
内容审核确实是个问题, 不如套国内大模型, 内容审核都是做好的
|
34
nyw17 96 天前 1
这不就 RAG 做的事情么,本地部署一下
|
35
Puteulanus 96 天前
我看成用户 30 以内了,还想说这么点人直接跳过 AI 招俩人扮演哲学家算了(狗头
|
36
ishengge 96 天前
先跟老板说硬件。4 张 H100 显卡
|
37
hongchang 96 天前
其实这个事情,真的不难。
先让你老板买显卡,然后花钱找人整理内容,喂给大模型微调一下就行了。 网上都有教程的。我跑过用 llama3 微调了一个甄嬛。 真的不难!!!! |
38
nicholasxuu 96 天前
直说你不会呗,或者让用 kimi 之类的付费产品去。
不然咋样?让大家写个新手都能快速上手的私有部署大语言模型知识库教程? |
39
winglight2016 96 天前
很简单,做个最基础的 RAG 就够了,可以外包给我,一周内搞定吧
|
40
keethebest 96 天前
最简单的方案就是直接套个皮,对接国内的 ai 。 豆包,kimi 都可以。
|
41
supuwoerc 96 天前
买显卡,部署开源模型,docker 启动 dify ,喂知识库,完成。
|
42
austfisher 96 天前
coze 平台直接部署
|
43
YVAN7123 95 天前
预计下个任务是造个火箭!
|
44
sampeng 95 天前
老板都说了。可以适当招 2 个人,外包。就是愿意花钱啊。先写个 PPT 。预算 100 万。
|
45
meeop 95 天前
1 大概率只需要写个 prompt,然后用 gpts 包装下
“你扮演哲学家 xxx,以他的角色和口吻回答用户问题,如下是用户的问题:” 2 复杂点就对接个支持上传文档的模型,上传文集,然后还是上面这个 prompt 3 再复杂就部署 Llama+少量定制,比较麻烦,但也能搞,不需要编程知识 |
47
ibazhx 95 天前
|
48
Vegetable 95 天前
外包给我
|
49
darkengine 95 天前
找老板要 100W 的经费,花 20W 外包出去 /doge
|
50
nuomi196500 95 天前
你没理解的老板的需求,他想表达的意思是做出一个带有某位作家风格的聊天机器人,这个真的很好实现,ChatGPT 里很多类似的机器人,国产的 AI 也可以自己配置。但是你别傻乎乎告诉他实现方式,要说的很难,很大,上价值,上高度,多扩充自己团队
|
51
jwenwang 95 天前
很简单啊,直接用字节家的扣子开发一个 bot 就完了,
把哲学家的文集作为知识库传上去,然后提示词写一下你是一名哲学家,用户会和你对话,你分析理解知识库内容,然后和用户进行对话, 不就完了? |
52
0703wzq 95 天前
这点数据量还不至于自己训练... 知识库方案。
|
53
tinyzilan123 95 天前 1
居然没有人回答 openai
https://platform.openai.com/docs/guides/fine-tuning/preparing-your-dataset 直接使用 openai 的 fine-tuning 模型,自己喂数据,在这基础之上就有了自己调优过后的专门 gpt |
54
dabingbing 95 天前 2
最多也就 1000 人左右(并发可能就 30 人以内),额... 并发可能也就是 1
|
55
aapon 95 天前
蹲一个后续,希望介绍详细点?
|
56
cuicuiv5 95 天前
关键词 Graph RAG
|
57
angry41 95 天前
百度文心有深度定制的大模型吧,可以了解一下
|
58
yangfan1999 95 天前
RAG 方案 +1 ,再用 Prompt 调优试下。
COZE 提供了一份 RAG 的最佳实践,可以参考: https://www.coze.cn/docs/guides/product_knowledge_bot |
59
Dogergo 95 天前
阿里的百炼平台可以,导入知识库,基于非结构话数据就可以,也就是说你上传点 txt,pdf,word 啥的也行,就是千问问答时候要收费
|
60
iloveayu 95 天前
楼主文科生吧,这标题可以直接去 uc 震惊部报道了,哪有让桌面自研 AI 大模型的,我 40 米长刀都拔出一半要帮你砍老板了,结果他要的只是个套皮。
同意 3 楼,先把显卡买了。 |
61
cslive 95 天前
写好 prompt ,openai 已经给你训练好了
|
62
uiosun 95 天前
@Jinnrry 这事听起来不难,当时 GPT3 出圈的时候,就有个法国小哥用 8 刀微调了一个法文本地化的 GPT (包含语言和一些本地知识),对着油管就能做到
但就像大家说的,这玩意还是找商业定制吧,不然出了问题又得自己去修复,莫名其妙的工作量就来了 |
63
myderr 95 天前
直接找国内大厂商啊
|
64
hutng 95 天前
只要预算足,登月也给他安排上。
|
65
Hef 95 天前 via Android
GTPs 自定义一个就可以吧,一会就搞定了
|
66
enihcam 95 天前
“去把唐僧干掉。” “啊?我?”.jpg
|
67
microchang 95 天前 1
|
68
djv 95 天前
服务商挺多的,文档看看呗;
或者开源模型自己喂自己搭,2B 的拉跨,8B 、9B 的将就用还是可以的。 |
69
hefish 95 天前
你们公司不错,我也想加入。 加入了就能起飞了。
|
70
shiyuu 95 天前
先让他采购一台 8 卡的算力服务器
|
72
yufeng0681 95 天前 1
你调研完毕,说这个东西耗 GPU ,算法也很吃技术。 自己搭建不划算,可以用 openai ,智谱清言等公司的虚拟人物来做。
智谱清言 1 、可以单独弄个 虚拟人物 ,上传文件(投喂材料)。 也看到别人发布的智能体 2 、可以调用 api ,也就是可以把虚拟人物变成你的后台 https://github.com/MetaGLM/glm-cookbook/blob/main/README.md |
73
zx9481 95 天前
了解一下 rag 即可
|
74
mwuxlcanrh 95 天前
RAG 即可,可以套用 coze 等平台的接口,很方便。
|
75
nuonuojump 95 天前
楼上说的对,多搞几个 HC ,然后再搞几个 4090 申请点经费,等人来了,把需求推下去,去耍黑悟空,大不了搞个 UI 界面,就欺负他不懂。大家一起快乐一下,还能提升下就业率,出去了还能吹牛逼,构建 AI 团队 实现巴拉巴拉吧。。
|
76
fat4fox 95 天前 via Android
这么能干!!!我给你 100 万,帮忙把在东北
|
77
fat4fox 95 天前 via Android
这么能干!!!我给你 100 万,帮忙把外东北收复回来,就算做不到,给我出个一百万内可行的方案。
|
78
wupher 95 天前
这个走 RAG 的话,不用编程也是能干的。
但编程可能细节控制更好。 不用你开发大模型,也不用折腾 Llama3 微调啥的。 |
79
seven123 95 天前
这个到不难,RAG 即可,dify 或者 fastgpt 都能做
|
80
zenithar 95 天前
和楼上各位不同,我第一反应是好奇 OP 工资多少,工作职能不是一般的多啊。
|
81
konakona 95 天前
自己训练模型去吞 40w 数据不现实,我更推荐你联系国内 AI 云商提供商业报价,它们来就是干这个的。
关于硬件资源这一点,你老板就很难 hold 。 以下内容摘自 GPT: 要训练 40 万条数据,所需的硬件资源取决于几个关键因素,如模型的大小、数据的复杂性、训练时长以及所需的精度目标。以下是一个大致的硬件配置建议: ### 1. **GPU** - **高端 GPU**:建议使用 NVIDIA A100 、V100 或 RTX 3090 等高性能 GPU 。这些 GPU 在深度学习任务中表现出色,并且可以加速训练过程。 - **多 GPU 集群**:如果数据量很大,使用多个 GPU 来并行训练会更加高效,特别是当你需要缩短训练时间时。 ### 2. **CPU** - **多核 CPU**:如 Intel Xeon 或 AMD EPYC 系列,配备多核可以加快数据预处理和加载的速度,虽然深度学习的主要计算任务还是依赖 GPU 。 - **充足的缓存**:更大的缓存能有效提升数据预处理的效率。 ### 3. **内存 (RAM)** - **大容量内存**:建议至少 64GB ,甚至 128GB 或更多。大容量内存有助于处理大批量数据,尤其是在训练前的数据预处理阶段。 ### 4. **存储 (Storage)** - **SSD**:使用 NVMe SSD 来存储数据和中间结果,以确保数据加载和存储的快速响应。 - **足够的存储空间**:确保至少有几 TB 的空间用于存放原始数据、模型权重、检查点等。 ### 5. **网络** - **高速网络连接**:如果使用分布式训练,确保集群之间的网络连接速度足够快,以免在数据传输时成为瓶颈。 ### 6. **散热和电力** - **有效的散热系统**:高性能的 GPU 和 CPU 在满负载下会产生大量热量,需要有良好的散热系统来维持硬件的稳定性。 - **充足的电力供应**:确保电源能够支持所有硬件满负荷运行,避免因电力不足导致的意外中断。 ### 7. **软件环境** - **深度学习框架**:如 TensorFlow 或 PyTorch ,这些框架都有优化的 GPU 加速支持。 - **驱动和库**:确保安装最新版本的 CUDA 、cuDNN 等驱动和相关库,以充分利用 GPU 性能。 ### 8. **云计算资源** - 如果本地硬件资源不足,可以考虑使用云计算服务如 AWS 、Google Cloud 或 Azure 来租用高性能 GPU 和其他资源。这些服务通常可以按需扩展,并且有较好的计算资源管理工具。 ### 训练时间 训练时间可能从几小时到几天不等,具体取决于数据的复杂性和模型的大小。使用上述配置,可以有效地处理和训练 40 万条数据集。 准备好这些硬件资源后,你就可以开始模型的训练过程,并确保在训练中不断监控资源使用情况,以优化性能和效率。 |
82
dream7758522 95 天前 via Android
用扣子平台,抖音旗下的,你试试。不是太难,可以傻瓜部署
|
83
falcon05 95 天前
这不是就是 LLM 最擅长的角色扮演吗?写个 prompt 调用各种 LLM 的 api 就行了,不需要自己调优,最多做一个 chatgpts 导入资料。
|
84
Felldeadbird 95 天前
看完楼上大佬们,我还是太菜了。我想到第一个想法就是:直接找现成套 GPT 的程序- -。然后跑接口。
|
85
dartabe 95 天前
调优很简单的 网上租卡就搞了 效果比 prompt 好 小模型效果就可以了
但是说实话不知道你工资是不是匹配这个任务 |
86
simo 95 天前
楼上有推荐扣子的了,没问题。
rag 应该就能糊弄过去 |
87
limfoo1 95 天前
@dabingbing 绝对是 1 吧 笑发财😂
|
88
dyyhobby 95 天前
2 块 4090 的建议靠谱
|
89
southsala 95 天前
你觉得有啥纸面书是没喂给 AI 的,搞个 GPTs 这类的东西就行
|
90
lostexile 95 天前
你不是做开发的吗,怎么还不会修电脑呢。
|
91
Hyun1006 95 天前
这两天正在薅阿里云羊毛,我觉得 op 可以参考一下
https://help.aliyun.com/zh/model-studio/use-cases/?spm=a2c4g.11186623.0.0.25861078Rd36zZ |
92
echoless 95 天前
https://github.com/swuecho/chat 都做好了, 你只要写个 prompt.
|
93
arcaitan 95 天前
感觉很简单啊, 你老板有 gpu 预算吗?买上服务器, 招个人把哲学书做做标签, 随便 tunetune 就完事了
|
94
huzhizhao 95 天前
肯定还是 2 块 4090 方案 靠谱
|
95
bugmaker233 95 天前
你竟然还接下了
|
96
liuidetmks 95 天前
先让他采购几块 H200 ,说跑模型
|
97
cutchop 95 天前
外包给我,给你 50%回扣
|
98
EndlessMemory 95 天前
还是楼上的大佬懂得多
|
99
unco020511 95 天前
最简单的是搞个页面,每次把 40w 字的全文+指令都给 gpt,让 gpt 回复输出即可.更好一点的就是用做个 RAG,先检索一下向量数据库,再给大模型提问.
40w 的文本数据不多,应该不需要 LoRa |
100
AdminRoot123 95 天前
@oColtono #16 搜下 rag 吧 你这个实现应该还好
|