想白嫖点大模型的 api

[wencan]

用来翻译几页文档。后面应该还会要。不是提供在线服务，就是电脑上手动执行脚本。

开源的小 size 模型，担心翻译质量。大 size 模型，机器也跑不起来。只能指望在线的了。

翻译质量好的模型，好像就是 Gemini 和 ChatGPT 。

试了 Gemini api ，说是限制每分钟 60 ，但实际限得很死。我每次请求前加了 sleep 10 ，请求两次，就报 RESOURCE_EXHAUSTED 。

OpenAI 的 api ，没记错的话，是一次性赠送多少 token 。只怕不够用。

准备试试百度免费的 api 。

不知道有没有什么好开源程序，包装各大模型的 web 页面，提供接口？

看大家有没有什么好的解决方案。

[leavebody]

@Azure99 🐂

[BernieDu]

@Azure99 基于 llama2 微调的？

[Metre]

https://github.com/LLM-Red-Team 看看这个
Moonshot AI (Kimi.ai) 接口转 API kimi-free-api

阶跃星辰 (跃问 StepChat) 接口转 API step-free-api

阿里通义 (Qwen) 接口转 API qwen-free-api

ZhipuAI (智谱清言) 接口转 API glm-free-api

秘塔 AI (metaso) 接口转 API metaso-free-api

讯飞星火（ spark ）接口转 API spark-free-api

MiniMax （海螺 AI ）接口转 API hailuo-free-api

深度求索（ DeepSeek ）接口转 API deepseek-free-api

聆心智能 (Emohaa) 接口转 API emohaa-free-api

此外，我们提出一种可能的提高逆向成本的方案：ban-free-api

[nodesolar]

目前在白嫖百度和 gemini

[wencan]

@nodesolar 刚刚向 Google 上交了自己的信用卡号
朋友你白嫖 gemini ，调用频率限制如何？

[nodesolar]

我几分钟调用一次 不存在超频

[hnliuzesen]

百度和腾讯的大语言模型有免费的 API ，不过如果做翻译的话，也可以直接白嫖他们的翻译接口
https://cloud.tencent.com/product/tmt
https://api.fanyi.baidu.com/api/trans/product/prodinfo

[Meteora626]

大模型做翻译 prompt 也要配套，要不然还真不如用普通翻译接口

[xxmaqzas]

我这有个不限量的白嫖 api

[BernieDu]

@kneo 你试过吗，Gemini 的免费 api 我试了，有请求限制，我 10 秒请求一次才勉强不报错，而且我翻译了 20 多种语言，经常有些单词或者句子翻译失败。 本地跑 llama3 8b. 效果更烂，但是 llama3 70b 效果特别好，基本都翻译出来了，而且本地用 ollama 的 api 免费，幸亏 Mac 买的 48g 内存

[wencan]

@Meteora626 是的，提示加会话

[wencan]

@BernieDu 你的 gemini 的打开方式不对
1. 要氪金
2. https://ai.google.dev/api/python/google/generativeai/ChatSession

70b 的模型，占用多少内存？

[BernieDu]

@wencan gemini 6 月才支持的付费 api 把，gemini api 有时候翻译不出来，有时候把英语->乌克兰 翻译成了英文和中文，有时候把英语->泰语翻译为中文，40g

[wencan]

@BernieDu 有什么好推荐吗？今天试了 qwen2 70b ，同样的提示词，qwen2 幻觉很严重。

[wencan]

@BernieDu 70b 模型，是 llama.cpp 之类跑的吗？ 多久响应请求？

[BernieDu]

llama3, 1 秒一句吧，我内存小，48g 的，勉强跑的。