chatgpt 出来这么久了，看到的都是卖号，或者直接用 api 开发个啥，就没人想微调，针对垂直行业做定制化的 chatgpt?

[diehe]

据我对各行各业的观察，这个需求其实很大的。

最好是，把整个微调过程，做成无需写代码的方式。 让他们只要简单上传，自己行业的专业数据资料，就能得到一个全能的二十四小时在线的行业专家。

并且这个本行业的 chatgpt 还可以做成 api 形式，对外收费。岂不美哉？ 当然这是后话！

有懂这方面技术的大佬，愿意一起来弄这个事么？

[ETiV]

OpenAI 提供 fine-tune 接口，也正如 LZ 所想，只需要提供一问一答样式的 JSONL 文件即可。

但 base model 只有 A 、B 、C 、D 四款，调 fine-tune 接口不贵，但是使用价格非常贵 —— Davinci 的使用价格跟 GPT-4 32K 上下文 tokens 的价格一样。

而且可供 fine-tune 的模型不包括 gpt-3.5-turbo 或者 gpt-4 ，也就是说生成质量未必像 ChatGPT 那样好…

然后就是你提到的专业数据资料，有多少是 GPT-4 不知道的呢？

[documentzhangx66]

@diehe

显卡不是问题？你猜猜一台 8 * A100 的服务器，要多少钱。

再猜猜一个这样的系统，要多少台这样的服务器。

再猜猜电费、网费、机房托管费。

[levelworm]

得等 openai 训练好之后，再去私有环境中对私有数据训练。但是的确不好搞，除非是自己做过这个的。

[levelworm]

比如说 A-100 对国内禁用，可能得等阉割版出来了。

[Kumo31]

有的，例如多邻国： https://openai.com/customer-stories/duolingo ，不过感觉定制化程度还是有限

[dangyuluo]

垂直行业定制。。互联网味真浓

[henryhu]

正在做一个 3d 建模的 gpt 应用，让普通设计师（非程序员）也能编程。其实特定领域的 chatgpt 应用有不少尝试，大家都是才刚刚起步

[westoy]

目前感觉还只能作为辅助者， 比如 office 助手、代码生成这些， 需要有一个能把关的

并不能直接对接客户， 比如你要拿来作为一个客服， 可能因为一次无中生有， 你就永远失去这个客户了， 而且成本比起用一个执行复读机操作的人也没优势。

[AeroXi]

你说的微调 finetune 从 chatgpt 开始不提供了，openai 认为没有必要，现在模型的能力只需要提供上下文就有很好的效果
方法就是用 embedding 向量索引，查找相似内容插入 prompt
国外已经非常多这类产品，比如 kapa.ai mendable 都可以接入开发文档生成回答问题的 chatbot

[baobao1270]

模型都没给你，你怎么 fine tuning

[houshuu]

OpenAI API 其实有 Fine-tuning 服务, 只是目前不对 GPT 模型开放罢了.

本来想过针对 Token 试试, 但感觉新的几个 GPT 模型和他提供的 API 也不是一致的, 官网提供的 Token 工具貌似是基于 GPT2 做的. 所以个人感觉 OpenAI 不公布模型原参数的情况下, few-shot 目前阶段是完全做不了的, 要么自研要么等. 提示词的影响终究只有那几千个 Token, GPT4 还没用过, 好像可以多点.

其实也有一年没怎么碰机器学习了, 最近又开始看相关论文学习学习. 数据收集和数据质量是一方面, 目前 OpenAI 和大部队拉开差距的主要是他们能够用很小规模的模型去预测大规模模型训练收敛的情况, 大部分 AI 民工就算能找到数据, 能写出模型, 拉得到算力投资, 可 Loss 估计一训练就飞出太阳系了. 稳定训练是个技术活, 之前不是搞大模型方向的估计够呛.

[outman87]

怎么定制呢？你无法调教它啊。换言之，没法给它投喂大量的行业数据，训练它逐步摸清该行业的模式和运作规则啊

[kkkbbb]

感觉现在遍地都是靠他割韭菜的

[haaro]

GPT 的 Fine-tuning 在微软的 Auzre 上已经有了
https://learn.microsoft.com/en-us/azure/cognitive-services/openai/how-to/fine-tuning

[Biluesgakki]

这个后续 openai 肯定会开放的，就是时间问题，看了上面的链接，gpt 模型都没开放，只能等开放

[vsitebon]

@haaro #32 冷知识，其实 OpenAI 也有接口；但是现在是 ChatGPT 也就是 GPT 3.5 没有 Fine Tuning 接口

[xdzhang]

阿里云之前打过电话，推销相关的比如 ai 的客服啥的。

[sujin190]

@diehe 这个还真是问题，类似的模型想再训练微调可不是随便搞两块显卡就能搞得定的，用云服务价格也是不一般的死贵死贵

[fg990]

@diehe 我不是程序员。楼主的想法我很支持。“最好是，把整个微调过程，做成无需写代码的方式。 让他们只要简单上传，自己行业的专业数据资料，就能得到一个全能的二十四小时在线的行业专家。”就要这个，不用专家级别，做到自然流畅的专业客服就可以。

[fg990]

补充一下，我在一个家电企业从事人力资源工作，同时分管顾客服务工作。