如何用 chatgpt 训练自己的客服机器人？

[avenger]

因为我们主要做私域电商，主要是微信和有赞平台，最近有想法用 ai 客服代替 80% 的客服工作，在研究 chatGpt 的 fine-tuning 模型训练，我们有过去 5 年的客服聊天记录数据，想自己训练一个模型出来。

参考的文档是这个 https://platform.openai.com/docs/guides/fine-tuning

中文圈这块的资料比较少，自己花了 50 多刀出来的效果并不理想 [捂脸]

拿训练出来的模型去测试，完全是答非所问。 几乎找不到相关中文资料。

正准备试 gpt-index ，请问大家有比较成熟的解决方案吗？谢谢！

[hellojay]

等业界成熟的方案吧。还没有听说通过 fine tune 或者 index 等办法做出来真正可用的方案

[maltoze]

gpt-index(llama_index)不就是做这个的么

[shenhuilin0]

https://github.com/gannonh/gpt3.5-turbo-pgvector 可以看一下这个的思路

[avenger]

@maltoze 查了一些资料，说是 gpt-index 做 QA 系统比较合适，做客服系统好像还不够智能。

[avenger]

@shenhuilin0 谢谢

[hellojay]

我尝试过 OP 类似的东西，gpt-index 这些方案都试了，全都不太满意，回答经常是驴唇不对马嘴。

客服系统对回答的要求其实比较高的，底线是不能胡说八道，但是用 gpt 你完全无法控制

[nicolaz]

可以参考下这个方案
"把自己的文档拆分成一段一段的信息，然后喂给 ChatGPT 让它把这些信息转换成一个个的事实问答对，并以 JSON 形式返回回来。"
"之后将这些 prompts 数据发送给 OpenAI 的接口基于 davinci 的基础模型训练一个专属模型"

如何用 ChatGPT 构建你的专属知识问答机器人
https://blog.frankzhao.cn/build_gpt_bot_for_doc/

[avenger]

研究了一天，目前比 fine-tune 较靠谱的方案是用 Embeddings：

```
1. 使用 embeddings API 把内容转变成向量（ vectors ）
2. 用户输入一段话（ query ），根据 vectors 找到几条合适的内容（ contents ），并拼装成 prompt
3. 把 prompt 喂给 gtp-3.5 或者 fine-tuning 模型（ model ）
4. done
```

#3 就是这个思路，官方相关教程链接： https://github.com/openai/openai-cookbook/blob/main/examples/Question_answering_using_embeddings.ipynb

[hoky]

@nicolaz @avenger 这个方案是不是成本过高？前期训练要花费不少美元？

gpt-index 在 build index 过程中似乎也需要花费 openai

[avenger]

@hoky 第一次成本比较高 看你的数据有多少

[hoky]

@avenger 参考一下这个文章 https://www.izzy.co/blogs/robo-boys.html

[kiah]

老哥有进展了吗 公司也有类似需求

[avenger]

@kiah 用我们过去 5 年的历史数据，训练了一个 @男人袜 的客服妹子，欢迎大家来调戏，体验地址 https://udify.app/chat/RkCYZlpzZyhAsumL

[avenger]

用的 Dify 这个开源项目

[kiah]

@avenger 体验体验哈

[kiah]

@avenger 看着还行 楼主 确定用这个方案了吗

[fengtalk]

陈老板的需求，关注一波。

[avenger]

@kiah 是的，目前是 Dify

[13482034233]

我们公司也是一家电商平台, 也想做 AI 客服机器人, Dify 用下来合适吗

[avenger]

@13482034233 您可以体验一下，体验地址在这里：

https://mp.weixin.qq.com/s/Av4v7KIlIcNm-Uqn8zLQZA