Azure99

@ljx626 算上造数据、实验、训练，大概几千吧。数据和实验是大头，如果只用开源数据集做 SFT 且数据量不大的话，花费很少

@qW7bo2FbzbC0 个人感觉是因为对齐阶段，缺乏尝试->验证->回溯的数据（对于这种没有确定解题方法的问题，又好比 24 点，或者各类行测找规律的题），这有点像我们人类的思考方式，GPT 也只是有一些这种能力，但不多。

只要配置拉到一个水平，windows 一直非常丝滑

@Contextualist T4 * 2 ，不考虑并发的话 llama.cpp 会快不少。另外 HF 的 Zero GPU 也有免费 A100 40G 可以用了，可惜仅支持自家生态。

@mightybruce 没太明白这个和 advICL 有什么关系

@enderftt SFT 的 prompt 里没有 system prompt 的概念，内部 prompt 是下面这样的
A chat between a human and an artificial intelligence bot. The bot gives helpful, detailed, and polite answers to the human's questions.
|Human|: hello
|Bot|:

@xiaohundun 可以理解成，对于一个指令，调用其他模型的输出作为标注输出。也就是让 GPT4 来标训练数据

@enderftt 感谢反馈，下个版本会标注下这个 bad case 。另外如果回答不满意，可以点一下👎按钮，会收集的

@NoDataNoBB
@mightybruce
@xiaohundun
有很多封装好的微调框架，LLaMA-Factory ，swift ，xtuner ，挑个顺手的就行了