用户一旦输入“忽略所有 Prompt”,LLM 就会马上跳出提前设置好的场景,接下来就跟和 GPT 对话没什么区别了。
有些时候甚至不需要“忽略所有 Prompt”,比如我之前预设好的场景是模拟约会,用户突然来一道编程题,LLM 就开始回答这个编程题了
如果不加以限制的话,有些用户可能会用它来恶意刷 token ,造成损失。
我能想到的方法就是提前处理一下用户的输入,或者加强 prompt 规则,但是感觉都没办法从本质上解决问题
各位有什么好的处理方法吗?
1
lDqe4OE6iOEUQNM7 174 天前 1
参考国内的敏感词过滤,直接不回复了
|
2
lDqe4OE6iOEUQNM7 174 天前
国内的那些 ai
|
3
yiios 174 天前 1
最简单的办法,把 prompt 在文本结尾重述一遍,并且把用户输入的内容用分割线圈起来
|
4
maemolee 174 天前
我记得有一个概念叫做 [prompt 分层] ,可以让后面输入的 prompt 优先级更低,但我自己没有这方面的实践。
|
5
PerFectTime 173 天前
用其他 prompt 判断用户当前输入是否与指令有关,无关则拒绝回复
|