V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
knockkey
V2EX  ›  问与答

人脸动态捕捉技术实现方案?

  •  
  •   knockkey · 2023-07-19 23:19:10 +08:00 · 987 次点击
    这是一个创建于 502 天前的主题,其中的信息可能已经有所发展或是发生改变。
    # 非常好奇 b 站一个 up 叫'抵抗 Resistance'的视频是怎么做出来的。
    # 他的主页链接 https://space.bilibili.com/475912512/
    # 感觉鲨鱼的可爱形象比真人露脸更加有节目效果哈哈,不论是视频还是直播都挺有趣。

    # 我第一想到的是 用 iPhone 的拟我表情,但显然这个博主不是用手机搞的。
    # 以前也接触过 Adobe 的 Character Animator ,虽然是捕捉人脸的表情让形象动起来,但这个软件貌似是只能出 2D 的形象。
    # 我对动态捕捉的技术没什么了解,在网上查了一圈,也不知道 up 是怎么实现这个效果的?
    # 如果想做一个 up 主那样的虚拟形象,具体要怎么实现呢?用到了什么软件?
    # 这个 3D 的鲨鱼模型是怎么搞出来的? blender 建模的吗?
    [上传图片中...]
    8 条回复    2023-07-20 13:33:06 +08:00
    knockkey
        1
    knockkey  
    OP
       2023-07-19 23:21:35 +08:00
    westoy
        2
    westoy  
       2023-07-19 23:30:43 +08:00
    blender 2.6 还是 2.7 的时候油管上有人出过平价方案的教程的

    就是脸上拿圆珠笔画无数点, 然后追踪投射到 3D 坐标里, 再套模型

    你可以找找看
    knockkey
        3
    knockkey  
    OP
       2023-07-19 23:39:51 +08:00
    @westoy 好的 我去找找 谢谢!😀
    hzy1422045654
        4
    hzy1422045654  
       2023-07-20 07:51:04 +08:00
    以前有个 facerig 现在停售了,换了个名叫 Animaze by FaceRig 可以看一下哦
    andyskaura
        5
    andyskaura  
       2023-07-20 10:13:57 +08:00
    https://github.com/tensorflow/tfjs-models/tree/master/face-landmarks-detection#keypoint-diagram
    这个应该满足你的需求,这个模型返回面部点阵,然后将点阵与模型的脸部顶点绑定,就可以做到动态 3d 表情了
    knockkey
        6
    knockkey  
    OP
       2023-07-20 10:54:09 +08:00
    @hzy1422045654 哈哈!我在里面看到了那个 up 用的鲨鱼模型!感谢!
    knockkey
        7
    knockkey  
    OP
       2023-07-20 10:55:04 +08:00
    @andyskaura 谢谢!
    madeworldbetter
        8
    madeworldbetter  
       2023-07-20 13:33:06 +08:00
    unreal 有一个 metahuman ,就是用手机捕捉表情的
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2534 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 15:53 · PVG 23:53 · LAX 07:53 · JFK 10:53
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.