现在大模型 LLM 微调框架遍地开花，开源数据集也很多，麻烦的是用私有数据构造数据集，写了一个简单的项目，供参考。能帮忙点点 star 就更好啦 FastDatasets FastDatasets FastDatasets
 |
1
Dreamerwwr 11 天前
已 star ，目前什么领域需要微调自己的数据？打模型能力变强，微调是否有意义？微调相当于把模型给固化了，反而可能降低模型能力。
在模型能力强的前提下，我们优化提示词就能达到效果吧 |
 |
2
mumu157 OP @Dreamerwwr 有很多方面吧，我举几个例子
1. 原始模型不包含一些私域的信息，比如一些财务、法律、金融信息 2.需要模型强化某些领域的专业能力 3.强化输出能力，需要按照某些格式进行输出 4.想要洗掉原始模型的数据或者自我认知、以及其他一些合规性要求之类的 5.强化模型能力，比如通过 R1 蒸馏数据微调一些 llama 、qwen 之类的小模型 应用还是比较多的 |
 |
3
uni 10 天前
已 star
我们现在遇到的一个需求是微调出来的泛化性不够，目前我们的解决办法是使用别的大模型扩充原有的训练数据（比如说同一个问题换多种提问方式等等），跟蒸馏有点像，实测效果还不错的，如果 op 的框架能加入这个功能就更好啦 |
 |
5
cbb903601682504 10 天前
推荐一个类似的工具 Easy Dataset： https://github.com/ConardLi/easy-dataset 感觉功能是一样的
|
|
6
Dreamerwwr 10 天前
我觉得可以搞一个场景案例来拓展思考，根据场景案例出一套详细的微调、验证教程，这样也可以宣传项目
|
Select Language