下面是 kimi 给出的结论,是否正确
![]() |
1
cmos 55 天前 ![]() 用 BPE 分词器,英语子词合并充分,中文语义密度高,不存在也不可能存在 40%这么高的差距。相信月之暗面,不如相信我是秦始皇。搞这些,不如前置一个小模型实现精炼、去除赘余,这才是真正的提高效率和利用率。
|
![]() |
2
TimePPT PRO @imes 哈哈哈对的。
这个跟 tokenizer 算法强相关,各家各模型其实是有差的。 另外,OpenAI 家自己有个 token 计算器,如果有兴趣自己试试就知道了。 https://platform.openai.com/tokenizer |
![]() |
3
TimePPT PRO 另外,现在很多模型服务厂商是有 cache 的,走 cache 也会便宜不少——比如 OpenAI 家的说明: https://platform.openai.com/docs/guides/prompt-caching
所以你每次请求,多次 context 重复部分实际上花不了多少钱,直接按裸 token 算钱实际上是算多的 |
![]() |
4
yh7gdiaYW 55 天前
会少但没有这么明显,我自己的应用测算下来把输入转为英文能节省 20%-30%的 token ,模型是 4o 。国产模型的话差距应该会更小甚至反过来
|
![]() |
5
Dlad 55 天前
感觉差异来自“子任务:翻译”。跟信息密度关系倒不大。
|
![]() |
6
xuanwu 54 天前
第一个例子,用二楼的 token 计算器测“我爱人工智能” 是 4 个。
自己先做下实验为好。 |