这是一个创建于 99 天前的主题，其中的信息可能已经有所发展或是发生改变。
目标
- 一个写作助手, 需要在一个方向写出专业分析文章
- 专业分析新技术, 而不是写出新技术, (写新技术, 新应用的优缺点/应用点/所需条件等)
需求:
- 数据库要新, (GPT-4, 最新是 2023 年 4 月, 这样不符合要求, 要足够新, 例如近期的文章都需要加入)
- 限定行业或者方向, 缩小范围 (例如半导体, 新能源等等最新技术分析文章, 期望小而精, 例如锂电池一个库, 氢能源一个库, 都可以分开, 或者应该合并更好)
方案选择(问题)
- 现成的服务平台提供类似的,(目前没看到), 我们自己提供最新文章, 然后生成一些想要的文章
- 自己训练, 如果自己训练是不是可以考虑直接 京东买一块 4090D + 合适的模型 (零基础, 平时写 Go+Python, 后端, 立刻开始试试. 虽然看到 2080ti 22g 性价比, 但是想省时省事一些,还有售后)
- 如果自己训练, 数据集是不是分割越小越好.例如 氢能源单独一个.
模型选择
- Chinese-Mixtral-8x7B (今天 twitter 看到 https://github.com/HIT-SCIR/Chinese-Mixtral-8x7B )
- 34B-Chat (V2ex 看到, @ShadowPower 推荐的 https://www.v2ex.com/t/1004201#reply43 )
- RWKV-Runner ( 也是 @ShadowPower 推荐, https://github.com/josStorer/RWKV-Runner )
显卡
看到有货, 可以买了, 目前能自营买到最好的显卡了吧. 特供版本
七彩虹（ Colorful ） iGame GeForce RTX 4090 D Advanced GDDR6X 24G 大显存 游戏电竞电脑显卡 ￥ 13999.00
https://item.jd.com/100081721839.html
谢谢
 |
1
daiv OP 跑模型 1 块 4090D
如果训练, 并且缩小范围, 大约需要怎么样的硬件来搭配? |
|
2
daiv OP 或者说,
这样的需求不叫训练, 微调 就够了 |
 |
3
perfectar 99 天前  1
我的理解哈，不一定对。
1. 如果是想快速对某个垂直领域（半导体-新能源等）的数据做理解、分析、总结，可以基于 ChatGPT+RAG 知识库的方式去做，可以参考 langchain 和 LlamaIndex 等框架。优点是：成本比较低，技术路线较成熟，见效快；缺点是：对生成内容的格式、风格等依赖于模型本身的能力，可能无法满足你的特定需求； 2. 如果你的垂直领域数据量足够，且能够转成指令数据集（可人工标注，或者 Self-Instruct ），也可以试试进行指令微调 SFT ，利用 LoRA 或者 QLoRA 等方式，对显存要求不太高。这种方式的优点是可以直接将知识灌入模型本身，直接对齐垂直领域使用需求，缺点是数据若更新较频繁模型的微调成本也会较高。 供参考。 |
 |
4
cat9life 99 天前 1
同上 RAG 才是正解。微调并不适合你的场景，而训练开个玩笑 就好比你想造车现在研究反向确实钢铁是怎么炼成的
|
|
5
daiv OP |
 |
6
ShadowPower 99 天前 1
用少量样本训练模型其实学不到知识……
模型的绝大多数知识都在预训练阶段获得，微调只是改变模型的输出风格和表达习惯 |
 |
7
laipidov 99 天前 1
RAG 是靠谱的选择，目前看自己训练没法得到理想的效果，模型选型需要好一点，可以试试 qwen 和 baichuan
prompt 和解码参数也非常重要，对模型的输出结果影响很大 就是不知道 op 的写作中，是不是需要特别强的逻辑推理能力，还是说一般的写作逻辑能力就足以应对。 |
|
8
laipidov 99 天前
目前看，24g 的显存，基本上只能是 7b 的模型了，13b 都不太好说
|
 |
9
luchenwei9266 99 天前
4090D 在 AI 推理方面被阉割过，游戏性能还是和之前差不错，多嘴一句。如果只是为了大显存，可以考虑魔改的 2080ti 22G ，4090D 这价格应该能买 4 块了。
|
|
10
daiv OP @ShadowPower @laipidov 感谢感谢, 我先用 RAG 试试, 看看效果如何, 目前不是很需要特别强的逻辑推理, 因为是介绍性的文章.
@luchenwei9266 2080ti 22G * 4 这样来组? 88G 显存了, 但是买这样的魔改, 要做好折腾的心理准备, |
|
11
luchenwei9266 99 天前
@daiv #10 嗯，肯定要折腾一下的，不然你这卡顶多跑个 7B 左右的模型，量化过的 13B 估计也能凑合
|
Select Language