V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
CaptainD
V2EX  ›  职场话题

公司提供一个机会去做 AI 相关的工作,要不要试试

  •  
  •   CaptainD · 334 天前 · 5205 次点击
    这是一个创建于 334 天前的主题,其中的信息可能已经有所发展或是发生改变。

    近期领导找聊天,我们内部在做一个 LLM 相关的项目,想让我过去做,说是可以提供一些显卡和一些钱组工作站在家里整这件事(家宽比较方便),估计是 4090 这个级别的卡外加几千块钱,每月补贴电费网费这样

    背景

    • 几个人的小作坊公司
    • 我是数据工程师,比较偏后端那种
    • 我对训练模型了解不多,只是自己用 langchain 做过小 demo ,私有部署过开源模型

    可能用的技术

    • 这个项目是一个自动化的任务,会大量调用 LLM 获得一些结果,后续可能会集成 fastapi 做成服务这样
    • 我看了一些博文,我需要做的部分大概是 RAG + 指令式微调 + 单任务微调(我不太懂,可能不准确)

    我的想法

    这算一个研究中的项目,主要是利用 LLM 做一个工程上的东西,我还比较感兴趣,而且老板说每周大概可以抽一天时间居家办公做这件事,感觉也挺不错的

    25 条回复    2024-01-31 23:01:46 +08:00
    cookgo
        1
    cookgo  
       334 天前
    为啥公司的项目要把设备部署在你家?有没有一种可能:AI“跑偏”了之后你要承担所有的法律责任?
    efore
        2
    efore  
       334 天前
    自己感兴趣的话完全可以做,不在家的工作日还可以出租显卡,比如咸鱼上挂单帮别人跑跑数据集啥的。只是你得保证最后得有产出
    CodersZzz
        3
    CodersZzz  
       334 天前
    一周一天都要在家里弄,公司是给不起电费吗。
    CaptainD
        4
    CaptainD  
    OP
       334 天前
    @cookgo #1 不是部署在我家,应该是在家里开发,方便下载模型和数据集,模型调试好之后会部署在云上或者买物理机托管
    CaptainD
        5
    CaptainD  
    OP
       334 天前
    办公室网很差
    CaptainD
        6
    CaptainD  
    OP
       334 天前
    @efore #2 出租之类的就不考虑了,下班打打游戏之类的倒是可以
    Yuhyeong
        7
    Yuhyeong  
       334 天前
    4090 单卡跑大的 LLM 感觉有点凑合啊,待遇感觉挺好,就是这条件有点难出成果。
    CaptainD
        8
    CaptainD  
    OP
       334 天前
    @Yuhyeong #7 我对硬件什么的不太了解,有相关资料吗?
    不会用 4090 直接部署,是用 4090 把流程跑通,后续部署在云上,可能会用 serverless 的服务,我们也在看一些 8 卡机器的托管,因为调用量很大,部署肯定不是单卡

    工资相比互联网很低。。。
    Feiex
        9
    Feiex  
       334 天前
    为啥不用线上的 GPU ,要自己组机器,电费谁掏?
    CaptainD
        10
    CaptainD  
    OP
       334 天前
    @Feiex #9 我也不知道,电费网费公司出,我上面应该提了,细节应该不固定,到时候在申请应该就行,感觉我们这方面的管理超松散
    orikey
        11
    orikey  
       334 天前
    @CaptainD 你知道 chatchat 嘛,我是后端,用这个估计开箱即用吧
    vicalloy
        12
    vicalloy  
       334 天前
    如果只是领导突发奇想的一个想法,建议不要主动入坑。
    所谓的训练啥的,基本按照流程操作就好了,不会有太多技术方面的东西。
    主要靠的是算力和原始数据的整理,这两个,一个是钱,一个是体力活。
    nnqijiu
        13
    nnqijiu  
       334 天前
    入坑需谨慎
    CaptainD
        14
    CaptainD  
    OP
       334 天前
    @orikey #11 我看了一下,好像还不是我需要的,因为调用都是机器调用,不需要界面,也不是简单的问答形式,本地知识库的部分可能有些帮助,我可能要研究下
    CaptainD
        15
    CaptainD  
    OP
       334 天前
    @vicalloy #12 也不算突发奇想吧,因为专门做算法同事已经开始做了一段时间了,训练部分可能不太需要我做,但是整理数据我肯定要做,然后就是工程部分
    min
        16
    min  
       334 天前
    调什么调,直接 gpt4+RAG ,4090 卖了换钱

    lol
    Flicker
        17
    Flicker  
       334 天前
    看标题,感觉可以去;看了内容,还是算了吧。楼上大家说得都很对。
    wonderfulcxm
        18
    wonderfulcxm  
       334 天前 via iPhone
    为什么不做呢?又不用你出钱。
    me1onsoda
        19
    me1onsoda  
       334 天前
    想起了前阵子的 gpt 哥
    locoz
        20
    locoz  
       334 天前
    什么样的操作,会出现“家宽比较方便”的情况?设备放公司通常不都是更加方便的选择吗?这一点如果没有合理的原因,还是别了吧...
    locoz
        21
    locoz  
       334 天前
    @CaptainD #5 公司网络差可以改公司网络,不应该存在必须要你的家宽来解决问题的必要啊,尤其是都小作坊公司了,拉个好点的宽带也不难吧?
    Eafon
        22
    Eafon  
       333 天前
    做老板都不知道自己到底想要什么,你就别瞎掺和了,除非这件事是你特别感兴趣,那玩玩无妨。
    beyondsoft
        23
    beyondsoft  
       333 天前
    不要自己搭建了, 单卡 4090 没有什么算力, 微调个 30b 都难. 建议去用租云 GPU, A100 也不是事,还便宜
    kuroissimo
        24
    kuroissimo  
       333 天前
    13B 的模型加载起来都要 27G... 单卡 4090 没有用的
    peezz
        25
    peezz  
       329 天前
    几个人的小作坊公司,比互联网工资低很多,就是要个人来干杂活,让你在家里整,就是有备无患,云上被端了,你家里还有备份。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2505 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 15:54 · PVG 23:54 · LAX 07:54 · JFK 10:54
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.