V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
joyarise
V2EX  ›  程序员

请教关于 AI 生图、音频、视频的本地部署及 api 问题

  •  
  •   joyarise · 31 天前 · 1101 次点击

    请教有 AI 生图、音频、视频的本地部署经验的朋友,有客户呢,对这块兴趣挺高, 想合作做一点事情,但是需要我们先做到能演示的地步再谈下一步合作。 技术背景,后端开发背景。AIGC 生成文本的各大厂家的各种 api 调用,或是自建 llm3 服务都熟悉。 前两天 sd3(英文生成图 这不也开源了嘛),就是视频这块,一直没有打通可用的大厂 api 或者自建。 自建平台,目前只有咸鱼购的两块 3060Ti 的显卡,可验证一些本地的可行性,然后再租赁 gpu 部署... 大概这思路。 AI 音视频 确实太陌生,没太多时间摸索。 特向有经验者请教几个问题: 1.文生视频、图生视频,目前是否有可以 API 调用的厂家服务。 2.文生视频、图生视频,自部署测试的话,3060Ti ,够不够扛,用到哪些开源框架,有没有例子。 3.数字人克隆的全流程,可以私有化部署的框架?哪种比较可靠运转。 4.那种给一张图片,就来一段 2 分钟左右的 ktv 音乐的,自部署怎么搞的。 谢谢有经验的人分享一下经验,个人动手能力比较强,后面就争取动手干起来给客户演示,再看下一步

    8 条回复    2024-06-16 00:27:40 +08:00
    KINGWAY
        1
    KINGWAY  
       31 天前
    我也在找这个, 其实用 chatgpt 可以解决很多问题, 只是这里也许有人有经验可以回答更准确.
    joyarise
        2
    joyarise  
    OP
       31 天前
    @KINGWAY 是的,chatgpt 里训练时间都是半年之前或者更靠前的,最新的东西,它少点。文生视频方案 它没法给出最优的了。 油管里有很多介绍,玩了几个,目前没有合适的。 这些都是大部头,动不动十几个 G ,部署调试都很耗时间,本身呢,有比较忙。1 个月前遇到 1 人说他全流程打通了数字人训练(私有部署),估计也都是开源方案的整合,但是人家也不愿意细说呢。 我这一个合作的客户,非常看好这些,经常问我。故问问 v2 有没有可以指点一二的
    GoRoad
        3
    GoRoad  
       31 天前
    首先两张 3060ti 生成视频是肯定不够用的,目前暂时也没看到文生视频的 api
    JoryJoestar
        4
    JoryJoestar  
       31 天前
    v 站内搜搜,我记得刚不久有人发了个 AI 生图视频的帖子
    devilweime
        5
    devilweime  
       31 天前
    去 B 站看下,有没有人整合,小说推文我看到有人在弄了。
    各自部署后都有 api 方式,就看有没有人整合了。
    sd3 还是蛮大的,显存 16G 起步
    sweat89
        6
    sweat89  
       30 天前   ❤️ 1
    GoRoad
        7
    GoRoad  
       30 天前
    @sweat89 感谢,我去看看
    timczm
        8
    timczm  
       29 天前 via iPhone
    两块 3060ti 应该不够吧
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3143 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 10:53 · PVG 18:53 · LAX 03:53 · JFK 06:53
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.