套壳类 LLM 的一个通病

[izzy27]

用户一旦输入“忽略所有 Prompt”，LLM 就会马上跳出提前设置好的场景，接下来就跟和 GPT 对话没什么区别了。

有些时候甚至不需要“忽略所有 Prompt”，比如我之前预设好的场景是模拟约会，用户突然来一道编程题，LLM 就开始回答这个编程题了

如果不加以限制的话，有些用户可能会用它来恶意刷 token ，造成损失。

我能想到的方法就是提前处理一下用户的输入，或者加强 prompt 规则，但是感觉都没办法从本质上解决问题

各位有什么好的处理方法吗？

[James2099]

参考国内的敏感词过滤，直接不回复了

[James2099]

国内的那些 ai

[yiios]

最简单的办法，把 prompt 在文本结尾重述一遍，并且把用户输入的内容用分割线圈起来

[maemolee]

我记得有一个概念叫做 [prompt 分层] ，可以让后面输入的 prompt 优先级更低，但我自己没有这方面的实践。

[PerFectTime]

用其他 prompt 判断用户当前输入是否与指令有关，无关则拒绝回复