V2EX › siriussilen 的所有回复 › 第 4 页 / 共 20 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7 8 9 10 ... 20

❮

❯

359 天前

回复了 surbomfla 创建的主题 › 投资 › 一百万如何进行简单的理财

@lkkl007 汇率转换的风险远高于 5%

2023-12-25 13:00:59 +08:00

回复了 Contextualist 创建的主题 › OpenAI › LLM 综述：猫娘 Mixtral 与近半年 LLM 进展的杂谈

> 一个采用了 2 个角色扮演、2 个对话、1 个神秘学、1 个故事写作、1 个数学和 1 个 DPO 这八个不同的小模型作为专家模型。

预训练和精调是两码事儿啊

2023-12-18 10:34:57 +08:00

回复了 standchan 创建的主题 › 程序员 › 关于我一直以为家里 ip 虽然不是固定，但应该也是独享这件事

@Northxw 北京联通 300 一个月，外加海外 ip 路由 9929 ，cloudflare ping 53ms
1.1.1.1 路由走广州 9929 -> 香港 CUG 落地

2023-12-14 11:39:00 +08:00

回复了 cat9life 创建的主题 › OpenAI › 使用自己的数据训练 ChatGPT

@cat9life
1. 如果使用 open platform 的 sft 平台的话，先看一下 open ai 的官方指南，上面明确说了应该用多少数据来做 sft 比较好 https://platform.openai.com/docs/guides/fine-tuning/fine-tuning
如果效果不佳，或者效果不错应该如何处理
2. 语气的安利 sft 在微软的 azure sft 教程里面有提到，https://learn.microsoft.com/zh-cn/azure/ai-services/openai/tutorials/fine-tune?tabs=python%2Ccommand-line （刚刚看好像更新没有了，可能还得翻翻）当时的结论就是说不需要 input ，只需要在 target 侧准备你的语气相关语料即可，可以先用小部分数据试试
3. 在 sft 之前，先写好 prompt ，看看用 prompt 或者几个 few-shot 例子看能能否搞定这个问题

2023-12-14 10:01:45 +08:00

回复了 cat9life 创建的主题 › OpenAI › 使用自己的数据训练 ChatGPT

其他开源的模型 qwen 等不保证，差距还是比较明显

2023-12-14 10:01:28 +08:00

回复了 cat9life 创建的主题 › OpenAI › 使用自己的数据训练 ChatGPT

或者你也可以尝试一下 icl ，给几个 few-shot ，如果使用 gpt4 模型很容易学到这一类的信息

2023-12-14 09:58:45 +08:00

回复了 cat9life 创建的主题 › OpenAI › 使用自己的数据训练 ChatGPT

说话方式模仿到位的话，fine-tune 可以实现，sft 有两个部分，一个是 input ，一个是 target ，对于语气 sft ，可以 input 为空
，target 只有内容，这个你可以参考一下微软的资料。另外小心实验参数设置，epoch 多的话，模型很容易变傻

2023-12-12 14:21:44 +08:00

回复了 foursevenlove 创建的主题 › 职场话题 › 24 应届生 offer 选择，美团 or 华为，请各位帮忙分析

我是美团的，别来美团