其实 ChatGPT 刚出来的时候就有这个想法,想做一个自己的“分身”,主要是说话方式要模仿到位。 全网搜了一下就两个办法: fine-tuning 还有现在的 GPTs ?巨佬们请给点建议。
1
polyanthusun 352 天前
等大佬们回答,这个方面我最近也在研究
|
2
shenyiyouge 352 天前
有解请踢我一下
|
3
cat9life OP @polyanthusun #1 试了下 GPTs ,效果并不好
|
4
woaigeny 352 天前
关于“分身”(克隆),可以了解一下 x eva
|
5
notproblem 352 天前
之前看到过,用的 chat glm 貌似可以
|
6
avalon8 352 天前
我用的阿里的百炼大模型训练平台还行吧
|
7
siriussilen 352 天前
说话方式模仿到位的话,fine-tune 可以实现,sft 有两个部分,一个是 input ,一个是 target ,对于语气 sft ,可以 input 为空
,target 只有内容,这个你可以参考一下微软的资料。另外小心实验参数设置,epoch 多的话,模型很容易变傻 |
8
siriussilen 352 天前
或者你也可以尝试一下 icl ,给几个 few-shot ,如果使用 gpt4 模型很容易学到这一类的信息
|
9
siriussilen 352 天前
其他开源的模型 qwen 等不保证,差距还是比较明显
|
10
cat9life OP @siriussilen #7 大佬可以展开说一下,或者由参考资料吗。谢谢
|
11
cat9life OP |
12
siriussilen 352 天前 1
@cat9life
1. 如果使用 open platform 的 sft 平台的话,先看一下 open ai 的官方指南,上面明确说了应该用多少数据来做 sft 比较好 https://platform.openai.com/docs/guides/fine-tuning/fine-tuning 如果效果不佳,或者效果不错应该如何处理 2. 语气的安利 sft 在微软的 azure sft 教程里面有提到,https://learn.microsoft.com/zh-cn/azure/ai-services/openai/tutorials/fine-tune?tabs=python%2Ccommand-line (刚刚看好像更新没有了,可能还得翻翻) 当时的结论就是说不需要 input ,只需要在 target 侧准备你的语气相关语料即可,可以先用小部分数据试试 3. 在 sft 之前,先写好 prompt ,看看用 prompt 或者几个 few-shot 例子看能能否搞定这个问题 |
13
otakustay 352 天前
只做分身聊聊天的话 rag + gpts 就够了吧,sft 还是用在比较专业点的地方好,毕竟贵……自己显卡能跑的小模型另说
|
14
nezuko 352 天前
b 站林亦有个视频介绍的这个, [聊天就能编程!我用 GPTs 做了个自己的数字化身] https://www.bilibili.com/video/BV1ug4y1X7MJ
|
15
cat9life OP |