@Azure99 而且 orca1 的工作在论文上做精调效果也不差，在指令遵循等方面都有不错的提升，orca2 放出了精调的模型，也可以瞅瞅看看它的能力边界，我认为不算差，是一个开源社区中通用精调相当不错的工作。

@Azure99 1850 种不算少了吧，中文 orca 数据怎么做的？开源的吗？ 还是自己复现了 orca1 的工作？

说到 step by step ，有一个 Orca2 的工作，他们对任务的划分不仅仅是 step by step, 还有 direct answer ，recall then generate 等等

@Azure99 我不认为是 cot 有问题，我认为是 sft 的数据配比及多样性有问题，导致在下面 case 中
“inst：请判断下面的评论是好评还是差评，好评输出 true ，差评输出 false 。评论：真难看，不推荐购买
output1："真难看，不推荐购买"有明显的消极观点，因此是差评，所以，输出 false 。
output2：false”
模型丧失了指令遵循的能力

@Azure99 为什么用大量 cot 数据会导致直接输出的任务很差啊？ 如何定义“直接输出任务”吗？ QA 问答么？

@Azure99 基于 yi sft 的吗？ 这个微调 llm 有足够 solid 的评估吗？

另 gpt3.5 论文细节是是一个 20B 的通用模型，所以用领域数据精调后打败了 3.5 没什么感到牛逼的 - -

@shubiao Lora 我没做过我不了解，我是做全参数微调，几百条就够了，别轻视大模型的拟合能力，另外几百条数据这个点，也可以参考一下 OpenAI 的文档，主要是一些边界 Case 的处理很关键

1. 你的这批数据及 prompt ，gpt4 能做到多少分？ gpt4 能否完成你的任务？
2. 5000 条业务数据太多了，模型很容易丧失通用能力，俗称变傻了，混一点通用样本，有奇效
3. 因为你的任务是一个判别式的任务，最后一层输出 token 的 softmax 可以拿掉，或者加一个约束惩罚，看看你的常用类别比如“购物”tokenlizer 之后是不是唯一一个，如果是的话，可以只让模型输出第一个首 token 的概率，把任务转化成判别式的任务，也能涨点

@Morriaty 都已经做微调了，还能是 few shot instruct ？

@lkkl007 汇率转换的风险远高于 5%

> 一个采用了 2 个角色扮演、2 个对话、1 个神秘学、1 个故事写作、1 个数学和 1 个 DPO 这八个不同的小模型作为专家模型。

预训练和精调是两码事儿啊

@Northxw 北京联通 300 一个月，外加海外 ip 路由 9929 ，cloudflare ping 53ms
1.1.1.1 路由走广州 9929 -> 香港 CUG 落地

@cat9life
1. 如果使用 open platform 的 sft 平台的话，先看一下 open ai 的官方指南，上面明确说了应该用多少数据来做 sft 比较好 https://platform.openai.com/docs/guides/fine-tuning/fine-tuning
如果效果不佳，或者效果不错应该如何处理
2. 语气的安利 sft 在微软的 azure sft 教程里面有提到，https://learn.microsoft.com/zh-cn/azure/ai-services/openai/tutorials/fine-tune?tabs=python%2Ccommand-line （刚刚看好像更新没有了，可能还得翻翻） 当时的结论就是说不需要 input ，只需要在 target 侧准备你的语气相关语料即可，可以先用小部分数据试试
3. 在 sft 之前，先写好 prompt ，看看用 prompt 或者几个 few-shot 例子看能能否搞定这个问题

其他开源的模型 qwen 等不保证，差距还是比较明显

或者你也可以尝试一下 icl ，给几个 few-shot ，如果使用 gpt4 模型很容易学到这一类的信息

说话方式模仿到位的话，fine-tune 可以实现，sft 有两个部分，一个是 input ，一个是 target ，对于语气 sft ，可以 input 为空
，target 只有内容，这个你可以参考一下微软的资料。另外小心实验参数设置，epoch 多的话，模型很容易变傻

我是美团的， 别来美团

@xiaomayi000 老哥，“我看现在有 2000M 下行了，应该也快了” 你这个指的是集团客户套餐里面已经有 2000M 了嘛？