套壳类 LLM 的一个通病

查看 12|回复 0
作者:izzy27   
用户一旦输入“忽略所有 Prompt”,LLM 就会马上跳出提前设置好的场景,接下来就跟和 GPT 对话没什么区别了。
有些时候甚至不需要“忽略所有 Prompt”,比如我之前预设好的场景是模拟约会,用户突然来一道编程题,LLM 就开始回答这个编程题了
如果不加以限制的话,有些用户可能会用它来恶意刷 token ,造成损失。
我能想到的方法就是提前处理一下用户的输入,或者加强 prompt 规则,但是感觉都没办法从本质上解决问题
各位有什么好的处理方法吗?
您需要登录后才可以回帖 登录 | 立即注册

返回顶部