V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
izzy27
V2EX  ›  机器学习

套壳类 LLM 的一个通病

  •  
  •   izzy27 · 207 天前 · 1335 次点击
    这是一个创建于 207 天前的主题,其中的信息可能已经有所发展或是发生改变。

    用户一旦输入“忽略所有 Prompt”,LLM 就会马上跳出提前设置好的场景,接下来就跟和 GPT 对话没什么区别了。

    有些时候甚至不需要“忽略所有 Prompt”,比如我之前预设好的场景是模拟约会,用户突然来一道编程题,LLM 就开始回答这个编程题了

    如果不加以限制的话,有些用户可能会用它来恶意刷 token ,造成损失。

    我能想到的方法就是提前处理一下用户的输入,或者加强 prompt 规则,但是感觉都没办法从本质上解决问题

    各位有什么好的处理方法吗?

    5 条回复    2024-06-03 22:27:59 +08:00
    lDqe4OE6iOEUQNM7
        1
    lDqe4OE6iOEUQNM7  
       207 天前   ❤️ 1
    参考国内的敏感词过滤,直接不回复了
    lDqe4OE6iOEUQNM7
        2
    lDqe4OE6iOEUQNM7  
       207 天前
    国内的那些 ai
    yiios
        3
    yiios  
       207 天前   ❤️ 1
    最简单的办法,把 prompt 在文本结尾重述一遍,并且把用户输入的内容用分割线圈起来
    maemolee
        4
    maemolee  
       207 天前
    我记得有一个概念叫做 [prompt 分层] ,可以让后面输入的 prompt 优先级更低,但我自己没有这方面的实践。
    PerFectTime
        5
    PerFectTime  
       207 天前
    用其他 prompt 判断用户当前输入是否与指令有关,无关则拒绝回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2649 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 01:48 · PVG 09:48 · LAX 17:48 · JFK 20:48
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.