V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
syaoranex
V2EX  ›  OpenAI

为什么 OpenAI 不收微调模型的托管费,而 Azure 却要收更贵的训练和托管费?

  •  
  •   syaoranex · 2023-10-30 06:24:41 +08:00 · 1511 次点击
    这是一个创建于 391 天前的主题,其中的信息可能已经有所发展或是发生改变。

    OpenAI 的微调按照微调使用的语料 Token 数叠加 epochs 计费,3 epochs 下的 100K token 大概只需要 2-3 刀。不收模型托管费。但是输入输出的 Token 计费涨到原来的 8 倍(但是涨 8 倍后 GPT-3.5 Turbo 1RMB/10K token 的价格其实还好,能承受)。很适合个人开发者开发和验证微调模型的性能。

    官网定价页面原话:通过使用您的训练数据对我们的基础模型进行微调,创建您自己的定制模型。一旦您微调了一个模型,您只需要为请求该模型时使用的 Token 付费。

    相比之下 Azure 的训练、托管费十分高昂,基本不适合个人开发者:

    GPT-3.5-Turbo 模型,102 刀/每计算小时训练数,托管费:7 刀每小时(每天的托管费就要 1200RMB 左右)。但是输入输出的 Token 计费不变。(算了下起码每天使用的 Token 数得超过 12000K ,开销才能和 OpenAI 的差不多)

    Azure 官网定价页面

    因为个人想使用微调 GPT-3.5 Turbo 模型做一些特定领域的知识问答,但不确定效果如何,想先验证下效果,做一下试验。但 Azure 高昂的微调费用着实把我吓到了,也不知道该怎么给 openai 的 api 付费。

    5 条回复    2024-04-05 00:09:52 +08:00
    UltraXiaoZi
        1
    UltraXiaoZi  
       2023-10-30 08:18:45 +08:00
    一个是厂家直销 一个是中间商代理 肯定不一样啊
    quzard
        2
    quzard  
       2023-10-30 08:42:03 +08:00 via iPhone
    好贵啊,本来还想用用
    zhhmax
        3
    zhhmax  
       2023-10-30 09:51:21 +08:00 via iPad
    我这边有多余的账号,已经绑卡,可以单独给你去用 OpenAI 的 API ,你用多少收多少,支付汇率要比实际汇率高一点,有意的话看我其他交易帖有联系方式。
    mmdsun
        4
    mmdsun  
       2023-10-30 21:17:52 +08:00 via iPhone
    Azure 还可以上传自定义数据集的,你测试的话拿这个试试看。
    jeeyong
        5
    jeeyong  
       233 天前
    训练非巨贵...
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2778 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 08:10 · PVG 16:10 · LAX 00:10 · JFK 03:10
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.