请问下现在训练一个 AI 业务类智能体大概多少费用啊

[inbox]

本人自己是个后端开发，现在有个需求：
是根据一个细分行业的业务数据，数据规模不大，几万条左右，训练一个垂类训练大模型，最终输出能根据已有数据资料，给出新输入数据的建议。
通过现在的 AI 模型训练/推理平台大概要多少成本？或者找一些企业级智能体开发的公司开发一般成本要多少。

麻烦大佬们了。

[inbox]

或者是利用现有平台 API + RAG + 微调 这种方式，大概开发周期和开发费用大致是多少呢

[kuhung]

几万条没必要训练，甚至微调意义都不大，外挂 RAG 先试试，跑通业务反馈重要。
另外如果是找别人做的话，从对方成本出发只会得到一堆烂活，得从你们自己的价值出发。你们觉得这个值多少，然后愿意付出多少。
如果是要你来预估工时，那么就按开头说的来做。先按你自身的 50 人天估计。10-20 天跑通开源的例子，10-20 天把你们自己的案例导入并寻求反馈，剩下时间应对突发状况。真上业务还要翻倍。

[lswlray]

@kuhung 类似的需求和数据量，20 万可以做出来吗？

[kuhung]

@lswlray 个人认为，这个领域的产品验收，不确定性和“给我做一个 app”类似：对于结果，不同的人都可以比划上两句，进而影响验收。

[inbox]

@kuhung @lswlray 是的，作为一个黑盒，最终输出什么程度可以叫合格，要看团队自己评估决定。不过数据量像我们规模小的话，按照 50-100 人天加上服务器费用估算，10-20 万成本应该差不多。

[donaldturinglee]

先做 RAG 吧，微调几万条数据感觉效果微乎其微。如果有机会可以合作一下吗？（独立开发者，目前在实现 multi-agent 和 RAG ）

[kenshinhu]

@donaldturinglee 有做过 Neo4j + RAG 的实践，想查找实践项目，期待合作

[kenshinhu]

@donaldturinglee 如有兴趣请联系：aGV5aGV5aGV5MjAyMzAxQGdtYWlsLmNvbQ==

[visper]

先考虑 RAG.看能不能怎么把它那几万条数据整理成分块的细分知识，当用户提问的时候想办法让 ai 能先查出这些知识，使用 ai 整理查询参数来调用接口查或者直接向量数据库的。然后再交给 ai 问答。微调的话，像黑盒子。当客户问你为什么这么问他回答不了的时候，根本无法处理，用 rag 的话还可能能想一下怎么才能查出这个知识块。

[urlpha]

@inbox #1 如果不熟悉整条路径，跑出一套 poc 大概一周够的，就用线上成熟的平台，比如阿里百炼、火山方舟。
后续就是工程化的过程，预处理、提示词、流程编排等，一般弄出一般来根据试运行反馈慢慢优化。

[jjwjiang]

个人觉得别找外面，这个场景是非常基础非常确定的 AI 应用场景，各大基础模型提供商都很成熟了，跟着教程整理下数据挂上 RAG ，然后自己调调 prompt 基本就可以了，自给自足可以灵活调整，到外面你就等着扯皮吧

[WithoutSugarMiao]

我现在的公司就是专门帮其他公司做智能体的。我目前负责的两个项目，一个是面向央企的，总招标千万级别，一个是和化工企业共建的，价值也在百万左右，但是我们做的都是完整的解决方案，如果光是训练模型，可能便宜不少。

但你如果是技术，还是推荐你自己做的。看你的数据是什么类型的，如果是文档型的，和大家说的一样，可以直接用 RAG 。如果非常细的业务场景可以直接微调，几万条的数据已经能有非常好的效果了。

可以参考下这个例子（ https://www.aliyun.com/solution/tech-solution-deploy/2925027 ）。从一句话中提取结构化信息，用 1000 条左右的数据，就把 0.6B 模型的准确率从 14% 提升到了百分之 98%。

至于什么时候用 RAG ，什么时候微调，其实一般都是结合使用的。比如那个化工项目，甲方提供了 产品对应的化学原料（例如：塑料的原料可能有聚氯乙烯 PVC 、聚乳酸 PLA 、色母粒等），用这些数据训练产品原料预测模型，输入是产品名称，输出就是预测需要的化学原料。然后还有一些文档，比如某些产品的原料使用标准、基础化工原料介绍，这种就放在 RAG 里，执行任务的时候检索。

价格的话，我自己训练模型一般用这个 https://www.autodl.com/ 里面的机器比常用云会便宜点。比如阿里云 80G 显存 一小时 50 多，这个服务 13 块钱一小时。 你训练的时候可以按照小时买，估计几千块钱 就能支持你训练好模型，部署的时候可以转包年包月。

[dododada]

看你做什么吧，如果是纯文本或者普通的文档，上面说的 rag 就行了，但是如果是操作指导书一类的，只有模型没什么用，这些东西前期的识别太复杂了，还是要上规则链，端到端目前不太行