V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  imnotlxy  ›  全部回复第 1 页 / 共 1 页
回复总数  5
3 小时 29 分钟前
回复了 imnotlxy 创建的主题 程序员 基于机密计算的 LLM 推理商
@PopRain 见 #4 。合同、信任无法消除数据被推理商看到的风险,但技术可以。我感觉这些小厂家的问题在于他们的算力没有那么多,uptime 、速度、延迟、缓存 TTL 不一定有大厂做得好。
3 小时 33 分钟前
回复了 imnotlxy 创建的主题 程序员 基于机密计算的 LLM 推理商
@PersueYan CPU 和 GPU 的核心内部应该不用处理密文,对它们来说加密和解密是由别的硬件(内存控制器?)透明完成的。
3 小时 36 分钟前
回复了 imnotlxy 创建的主题 程序员 基于机密计算的 LLM 推理商
@r6cb @ltyj2003 推理商无法看到明文,实现这一点要满足两个条件。

第一,推理相关的代码运行在「可信」的虚拟机中。运行环境的机密性由硬件保证,Intel 、NVIDIA 均提供 TEE 功能,PCIe 总线上的数据也是加密的。即便宿主机的控制权限不在用户手中,或者物理机被攻破,别人也看不到这个环境中的内容。用户可以用一些密码学的方法验证 1) 代码运行在 TEE 中; 2) 代码、模型权重与推理商公开的一致。

第二,用户会在本地运行一个 API 中转,这个中转与 TEE 之间实行端到端加密。中间的所有环节均看不到明文。

我没有可信计算相关的专业知识,以上是我自己粗浅的理解,希望指正。
Cursor Ultra 是 $200 的套餐,提供至少 $400 的第三方模型额度。实际上还会有奖励额度,Ultra 的奖励额度可能有大几十美元甚至一百多美元。使用比较便宜的模型配置,例如 Claude Fable 5.1 Low ,额度在第三方订阅中算是相当不错的,性价比高于 Copilot Max ($100 买 $200 额度)。此外还包含了 ~$4000 的 Grok/Composer 额度。
3 天前
回复了 blackantt 创建的主题 程序员 求助: mpv 在 GPLv3 下的分发
@blackantt 既然分发的 mpv binary 是由未经修改的官方代码库编译的,我认为没必要附带源码。如果有人问你要源码的话给他发个仓库链接就行,让他从 GitHub 仓库拉取,也可以把原仓库的链接贴到客户端的某个地方。
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2880 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 14ms · UTC 14:33 · PVG 22:33 · LAX 07:33 · JFK 10:33
♥ Do have faith in what you're doing.