有没有出租 deepseek 本地模型的云服务器?

24 天前
Themyth  Themyth

我很好奇,有没有人将 deepseek 搭建在服务器上,然后对外提供出租服务的? 比如给个 mstsc ,或者弄个外网访问权限的。 可以让租用的人在本地调用这个云服务器上的模型的....

3891 次点击
所在节点   奇思妙想  奇思妙想
17 条回复
siknet
siknet
24 天前
官方不是有 API ?
fcten
fcten
24 天前
官方有 api ,不过官方 api 这两天基本处于不可用的状态。
Jerry23333
Jerry23333
24 天前
阿里云百炼里面有 deepseek
hamsterbase
hamsterbase
24 天前
Themyth
Themyth
24 天前
@siknet
@fcten
@Jerry23333
@hamsterbase

好吧同志们,我错了,官方 api 居然这么便宜,这样好像不够电费的...
hamsterbase
hamsterbase
23 天前
@Themyth deepseek 官方应该不是亏本的,他们服务器有特殊优化的。
dream7758522
dream7758522
23 天前
昨天凌晨 2 点多,官网 web 版也崩了,等了半个多小时,好了。联网搜索也是彻底废了。
parad
parad
23 天前
有很多,我这里做了对比

https://prompt.16x.engineer/blog/deepseek-r1-cost-pricing-speed

持续更新中
parad
parad
23 天前
域名太小众,渲染不出 link [https://prompt.16x.engineer/blog/deepseek-r1-cost-pricing-speed]( https://prompt.16x.engineer/blog/deepseek-r1-cost-pricing-speed)
akira
akira
23 天前
阿里云百炼 前天放了 deepseek 出来了。 一百万个 免费额度,足够测试了
lovestudykid
lovestudykid
23 天前
@parad #8 Deepseek 不是本来就是用 FP8 训练的吗,FP8 怎么还会有量化损失?
duzhuo
duzhuo
23 天前
parad
parad
23 天前
@lovestudykid 根据我的理解,DeepSeek 最终的 weight 是 mixed F8_E4M3 + FP32 。这个可以在 Hugging Face 的 原始 model layer details 里面看到: https://huggingface.co/deepseek-ai/DeepSeek-R1/tree/main?show_file_info=model-00027-of-000163.safetensors

而 Hyperbolic 的 FP8 是他们自己的 quantization ,是在 model 上面额外的 quantization ,这里有解释: https://docs.hyperbolic.xyz/docs/hyperbolic-ai-inference-pricing

所以我理解 Hyperbolic 应该是做了额外的 quantization 。当然有可能是我理解错了。欢迎指正。
parad
parad
23 天前
@lovestudykid 问了另一家 provider ,他们说因为 Deepseek R1 是 "trained in FP8",所以本来就是 FP8 quantization 。所以没有影响。
但我也不确定这些 provider 有没有自己多做一层 quantization ,因为 Deepseek R1 的 FP8 是某些 layer 才有的,有会多其他 layer 还是 BF16:
- https://huggingface.co/deepseek-ai/DeepSeek-R1/tree/main?show_file_info=model-00001-of-000163.safetensors
- https://huggingface.co/deepseek-ai/DeepSeek-R1/tree/main?show_file_info=model-00160-of-000163.safetensors
- https://huggingface.co/deepseek-ai/DeepSeek-R1/tree/main?show_file_info=model-00163-of-000163.safetensors
这些 BF16 不确定是不是被额外的做了 FP8 quantization 。按照 vLLM 的说法,如果是 Online Dynamic Quantization
“all Linear modules (except for the final lm_head) have their weights quantized down to FP8_E4M3 precision with a per-tensor scale”:
- https://docs.vllm.ai/en/v0.5.0.post1/quantization/fp8.html
bccah
bccah
21 天前
除非你有奇怪的需求,不然直接官网就可以了。deepseek 的优势一直都是便宜大碗
kimizen
kimizen
21 天前
我找到流畅体验无需等待的 DeepSeek R1 推理模型的方法了
硅基流动 联合 华为昇腾 推出了 DeepSeek-R1 、DeepSeek-V3 的 [671B 满血版] API 服务,回复速度与官方 API 基本一致。

通过邀请链接注册送 14 元平台额度,等效 87 万 DeepSeek-R1 Tokens 或 700 万 DeepSeek-V3 Tokens ,配合 CherryStudio 、ChatBox AI 等开源工具可在本地搭建 AI 聊天平台。

邀请注册可以获得赠送额度,邀请码注册,我们都能获得赠送额度 https://cloud.siliconflow.cn/i/7vbnP2Ow
tycholiu
12 天前
这家 https://ppinfra.com 可以试试,点我的链接 https://ppinfra.com/user/register?invited_by=P0KD6O 注册 ,我们双方都能拿到赠送的 5000 万 Token 使用量,个人可以用一年了。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1108328

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX