V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
cat9life
V2EX  ›  OpenAI

使用自己的数据训练 ChatGPT

  •  
  •   cat9life · 330 天前 · 2875 次点击
    这是一个创建于 330 天前的主题,其中的信息可能已经有所发展或是发生改变。

    其实 ChatGPT 刚出来的时候就有这个想法,想做一个自己的“分身”,主要是说话方式要模仿到位。 全网搜了一下就两个办法: fine-tuning 还有现在的 GPTs ?巨佬们请给点建议。

    第 1 条附言  ·  329 天前
    更新了,更新了 /t/1000780
    效果还不错
    15 条回复    2023-12-15 19:13:24 +08:00
    polyanthusun
        1
    polyanthusun  
       330 天前
    等大佬们回答,这个方面我最近也在研究
    shenyiyouge
        2
    shenyiyouge  
       330 天前
    有解请踢我一下
    cat9life
        3
    cat9life  
    OP
       330 天前
    @polyanthusun #1 试了下 GPTs ,效果并不好
    woaigeny
        4
    woaigeny  
       330 天前
    关于“分身”(克隆),可以了解一下 x eva
    notproblem
        5
    notproblem  
       330 天前
    之前看到过,用的 chat glm 貌似可以
    avalon8
        6
    avalon8  
       330 天前
    我用的阿里的百炼大模型训练平台还行吧
    siriussilen
        7
    siriussilen  
       330 天前
    说话方式模仿到位的话,fine-tune 可以实现,sft 有两个部分,一个是 input ,一个是 target ,对于语气 sft ,可以 input 为空
    ,target 只有内容,这个你可以参考一下微软的资料。另外小心实验参数设置,epoch 多的话,模型很容易变傻
    siriussilen
        8
    siriussilen  
       330 天前
    或者你也可以尝试一下 icl ,给几个 few-shot ,如果使用 gpt4 模型很容易学到这一类的信息
    siriussilen
        9
    siriussilen  
       330 天前
    其他开源的模型 qwen 等不保证,差距还是比较明显
    cat9life
        10
    cat9life  
    OP
       330 天前
    @siriussilen #7 大佬可以展开说一下,或者由参考资料吗。谢谢
    cat9life
        11
    cat9life  
    OP
       330 天前


    我应该实际试一下,这是官方的说法。模仿语气正是他的特长。就是不知道需要多少训练数据才行?
    siriussilen
        12
    siriussilen  
       330 天前   ❤️ 1
    @cat9life
    1. 如果使用 open platform 的 sft 平台的话,先看一下 open ai 的官方指南,上面明确说了应该用多少数据来做 sft 比较好 https://platform.openai.com/docs/guides/fine-tuning/fine-tuning
    如果效果不佳,或者效果不错应该如何处理
    2. 语气的安利 sft 在微软的 azure sft 教程里面有提到,https://learn.microsoft.com/zh-cn/azure/ai-services/openai/tutorials/fine-tune?tabs=python%2Ccommand-line (刚刚看好像更新没有了,可能还得翻翻) 当时的结论就是说不需要 input ,只需要在 target 侧准备你的语气相关语料即可,可以先用小部分数据试试
    3. 在 sft 之前,先写好 prompt ,看看用 prompt 或者几个 few-shot 例子看能能否搞定这个问题
    otakustay
        13
    otakustay  
       330 天前
    只做分身聊聊天的话 rag + gpts 就够了吧,sft 还是用在比较专业点的地方好,毕竟贵……自己显卡能跑的小模型另说
    nezuko
        14
    nezuko  
       330 天前
    b 站林亦有个视频介绍的这个, [聊天就能编程!我用 GPTs 做了个自己的数字化身] https://www.bilibili.com/video/BV1ug4y1X7MJ
    cat9life
        15
    cat9life  
    OP
       329 天前   ❤️ 1
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2757 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 14:48 · PVG 22:48 · LAX 06:48 · JFK 09:48
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.