这是一个创建于 55 天前的主题，其中的信息可能已经有所发展或是发生改变。
现阶段在本地搭建大模型的成本较高，而且效果往往相比满血模型有较大差距，所以很多场景下我们还是得选择大厂提供的大模型服务。
而使用大模型服务则涉及到一个信息泄露的问题，比如个人隐私，或者公司的商业秘密等。所以在用的时候往往有顾虑，甚至不少公司禁止员工使用自己公司以外的大模型服务。
如果能将同态加密技术应用于大语言模型，喂给大模型加密后的输入，返回加密后的输出，用自己的密钥解密后就能得到有意义的明文输出。只要密钥没有泄露，对于大模型服务提供方来说，就是 garbage in garbage out 。这样就解决了信息泄露问题。
我搜索了一下，找到了几篇将同态加密应用到大语言模型的相关论文。看上去是可行的，但目前似乎处于实验阶段，且成本较高。市面上的大模型服务，也没有声称支持同态加密的。
所以 V 站相关从业者，可以聊聊目前这方面的进展和挑战大概是什么样的，以及距离普及还有多远。
而使用大模型服务则涉及到一个信息泄露的问题，比如个人隐私，或者公司的商业秘密等。所以在用的时候往往有顾虑，甚至不少公司禁止员工使用自己公司以外的大模型服务。
如果能将同态加密技术应用于大语言模型，喂给大模型加密后的输入，返回加密后的输出，用自己的密钥解密后就能得到有意义的明文输出。只要密钥没有泄露，对于大模型服务提供方来说，就是 garbage in garbage out 。这样就解决了信息泄露问题。
我搜索了一下，找到了几篇将同态加密应用到大语言模型的相关论文。看上去是可行的，但目前似乎处于实验阶段，且成本较高。市面上的大模型服务，也没有声称支持同态加密的。
所以 V 站相关从业者，可以聊聊目前这方面的进展和挑战大概是什么样的，以及距离普及还有多远。
 |
1
pweng286 54 天前
话说"喂给大模型加密后的输入"
大模型还能理解加密后的输入吗 |
 |
2
TimePPT 54 天前 via Android
请求公网模型前把敏感实体 mask 掉脱敏就完了，如果和模型答案强相关的，比如地点，mask 到县市一级就行，基本上是合规的。
相关库可以看下 MS 的 Presidio ？ https://github.com/microsoft/presidio |
 |
3
geelaw 54 天前 via iPhone  1
@pweng286 #1 大模型不需要理解加密后的输入，做的运算是大模型的同态作用。（同态加密的意义就是可以把任何运算都在密文里面进行，而不需要知道明文。）
如果大模型不经常更新的话，用 (F)HE 有点大炮打蚊子，可以用凝练的函数求值（ laconic function evaluation ）。但我对两者的实践都不是很了解，而且我的猜测是：现阶段它们的效率还不足以在可以容忍的时间内算完 LLM 一轮作用。 |
 |
4
rrfeng 54 天前 via Android
很有意思的话题，说不定 llm 还真是首先能实现（伪）同态加密的服务…
fhe 就算了… |
 |
5
sillydaddy 54 天前
|
Select Language