大语言模型训练请教

[cookgo]

• 各位佬，小弟我想训练一个对话机器人，其功能为：
  • 根据用户遇到的场景提供法律咨询。
• 比如能达到这样的效果：
  • 自己买的商品楼烂尾了，把内容丢给机器人，机器人能提供为消费者进行维权的相关法律条款的介绍。
• 请问这个要如何入手？提前谢谢各位佬。

[makejohn2015]

不用从零开始找数据训练，可以找网上现有的法律对话、问答的东西，写个脚本疯狂问，用来训练你的“机器人”，知识蒸馏。

[sentinelK]

有几个问题需要先明确。

1 、是从 0 开始模型训练？还是模型微调？还是只是注入上下文信息？
2 、对信息的准确度要求如何？
3 、你想付出多少成本？

[imes]

1. 不管什么方法，弄到至少 100G 的法律资料。
2. 找 3-5 个 5 年以上经验，不同方向的律师，让他们把上述内容分类整理。
3. 买至少 4 张 H100 以上的卡，初期可以在 llama2 的基础上，使用 LoRA 进行微调。后期至少需要 3 台英伟达 DGX 服务器。
4. 找至少 20 位律师（不要求经验），对输出进行 ground truth 核对。

[vivisidea]

你是否在找 https://github.com/PKU-YuanGroup/ChatLaw?tab=readme-ov-file

自己搞投入有点大的，我是建议用业界最强 gpt4 试试

[fulajickhz]

现在的 AI ，无论中外，只要能搜互联网的，都可以满足你的要求

你自己试试就知道了

官方的，税务总局的机器人客服有类似的功能，通过关键词会触发对应的条例和具体条款

其他部门的没碰到过

[Alias4ck]

阿里有一个法律的 通义法睿 https://tongyi.aliyun.com/farui/chat

[cookgo]

@makejohn2015 这种方式是指的《模型微调》吗？

[cookgo]

@sentinelK 对信息的准确要尽可能的高，因此应该是要从 0 开始训练模型了吧