V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
oColtono
V2EX  ›  职场话题

🙏🏻🙏🏻🙏🏻我是个小公司桌面运维,老板让我给他开发个 AI 大模型……

  •  
  •   oColtono · 127 天前 · 13731 次点击
    这是一个创建于 127 天前的主题,其中的信息可能已经有所发展或是发生改变。
    如题
    我在一家非 IT 行业的公司干桌面运维,说是运维其实啥都干,简单的服务器运维、直播推流、摄影摄像等等。老板基本上是个技术盲,在他眼里,技术相关的问题我全知道。

    他想要有一个 AI ,把一位哲学家(比较小众)的文集通读一遍(大概 40 万字)。然后扮演这位哲学家,充当聊天机器人。这个聊天机器人的用户量估计不会太高(小众圈子里面流传一下),最多也就 1000 人左右(并发可能就 30 人以内)。

    我说我干不来,他表示让我至少给个方案,适当招两个人,或者找人外包都行。

    从头搞个 AI 模型我猜是不可能的,我大概想法是租个云服务器,给 Llama 3 或类似的开源模型喂点数据,然后套个前端。

    希望懂行的朋友告诉我一下我的想法是否可行?以及这个事情工作量大不大。如果可行的话,我就去着手研究一下怎样微调 Llama 3 ,然后给老板一个方案。
    119 条回复    2024-08-23 17:03:07 +08:00
    1  2  
    BadFox
        1
    BadFox  
       127 天前
    好炸裂的需求,更炸裂的是你居然真的想去干。
    abersheeran
        2
    abersheeran  
       127 天前   ❤️ 4
    从技术上可以,从工作上来说我建议不要这么给老板说。把工作量说多一些,多要几个 HC 。
    newaccount
        3
    newaccount  
       127 天前   ❤️ 57
    先把硬件配上,4090 两块,一块放公司跑模型,一块放家里玩黑神话啊不是,一块在家里做技术研究
    gaobh
        4
    gaobh  
       127 天前 via iPhone   ❤️ 1
    fastgpt 把文章传上去,然后写个 prompt ,然后给老板 gpt 的链接就行了
    Huangzi7
        5
    Huangzi7  
       127 天前   ❤️ 5
    @newaccount 今天请假,原因:🐒流感
    zfyStars
        6
    zfyStars  
       127 天前
    是不是只需要写个 prompt ?
    RiverMud
        7
    RiverMud  
       127 天前
    预算。

    预算到位什么想法都可行。
    whp1473
        8
    whp1473  
       127 天前
    把书喂给 kimi ,然后让它扮演哲学家就可以了,不需要祖云服务器
    HuberyPang
        9
    HuberyPang  
       127 天前
    https://www.v2ex.com/t/1022439#reply81 感觉参考这个思路,就是把文集构建向量数据库,然后搞个开源大模型,或者购买个大模型 AI 接口 查询问题时,先查向量数据库,然后把结果给大模型,然后让大模型在回答。
    idealhs
        10
    idealhs  
       127 天前
    GPT 预设个角色就 OK 了,数据的话 OpenAI 已经学过了
    frencis107
        11
    frencis107  
       127 天前
    《这个聊天机器人的用户量估计不会太高》

    在国内做,有合规问题吧,别进去了
    ETiV
        12
    ETiV  
       127 天前 via iPhone
    我觉得上面配两块 4090 的建议靠谱些
    fengshils
        13
    fengshils  
       127 天前
    我也觉得上面配两块 4090 的建议靠谱些
    oColtono
        14
    oColtono  
    OP
       127 天前
    @frencis107 #11 谢谢提醒,这个我也跟老板说过了。老板头铁得很,好在这个圈子实在影响力有限,他之前搞的一些别的骚操作都没兴起什么风浪
    最后要做的时候我会跟法务确认一下。如果确实有问题老板还要坚持做的话,我就让他自己去找外包了。
    oColtono
        15
    oColtono  
    OP
       127 天前
    @newaccount #3 hhh ,这事我也不是没想过
    oColtono
        16
    oColtono  
    OP
       127 天前   ❤️ 1
    @HuberyPang #9 谢谢!!这个看起来很接近我想要的东西了
    oColtono
        17
    oColtono  
    OP
       127 天前
    @whp1473 #8 考虑过,如果这样的话,工作量就几乎都在前端上了。还有一个担忧是,kimi 这类线上 AI 是否能够微调的程度有限,我怕多问几句,它就露馅了,比如自报家门说我是 kimi ,只是一个人工智能之类的?
    weiaichongfeng
        18
    weiaichongfeng  
       127 天前
    可以的这个实现思路没问题

    老板不懂所以会说出让你开发个大模型,完成核心诉求就好,只是同时要拿到你自己想要的钱就更好

    对于懂行的人来说,不算大,用户界面部份开源的部署一下就好,Llama 3 部署一下,一天之内就能搞定,喂数据麻烦点,但网上也有教程搜搜就行了

    不懂行的挺麻烦的 工作量很大
    https://ollama.com/
    https://github.com/lobehub/lobe-chat
    particlec
        19
    particlec  
       127 天前
    github 有现成的 ai 聊天前端界面,给 token 就行
    aw2350
        20
    aw2350  
       127 天前
    老板挺有追求的
    Lamlam147
        21
    Lamlam147  
       127 天前
    我赞同楼上配两块 4090 的建议,属实靠谱
    Jinnrry
        22
    Jinnrry  
       127 天前 via iPhone
    好炸裂的需求
    更炸裂的是你居然真打算去干
    更更炸裂的居然是有人给楼主出主意去自己干

    我的建议,打电话联系百度文心一言的商务,然后把报价给老板
    a1oyss0925
        23
    a1oyss0925  
       127 天前
    kimi 套壳就完事了,不要想一些不切实际的
    teasick
        24
    teasick  
       127 天前
    好奇是哪位哲学家
    xmumiffy
        25
    xmumiffy  
       127 天前
    国内的模型+rag 就行了,预算够 rag 都不用,直接上
    osilinka
        26
    osilinka  
       127 天前
    李沐创业就是这个方向啊!
    wccc
        27
    wccc  
       127 天前
    买设备,合规备案. 要么上游 api 套壳
    shitshit666
        28
    shitshit666  
       127 天前 via Android
    中文用通义千问
    aoling
        29
    aoling  
       127 天前
    最靠谱的方案,Llama 3 ,其他的多问几句都会露馅穿帮的
    fcten
        30
    fcten  
       127 天前
    40 万字不需要微调
    30 个并发两块 4090 是不够的
    2ruowqe9r
        31
    2ruowqe9r  
       127 天前   ❤️ 1
    这个不是很简单吗?各种开源的方案就能解决,搞个知识库,使用 RAG ,写好提示词。
    greycell
        32
    greycell  
       127 天前
    全是开源方案可太多了,你标题起错了,不然下面已经全是推广自己方案的人了。
    z1829909
        33
    z1829909  
       127 天前
    内容审核确实是个问题, 不如套国内大模型, 内容审核都是做好的
    nyw17
        34
    nyw17  
       127 天前   ❤️ 1
    这不就 RAG 做的事情么,本地部署一下
    Puteulanus
        35
    Puteulanus  
       127 天前
    我看成用户 30 以内了,还想说这么点人直接跳过 AI 招俩人扮演哲学家算了(狗头
    ishengge
        36
    ishengge  
       127 天前
    先跟老板说硬件。4 张 H100 显卡
    hongchang
        37
    hongchang  
       127 天前
    其实这个事情,真的不难。
    先让你老板买显卡,然后花钱找人整理内容,喂给大模型微调一下就行了。
    网上都有教程的。我跑过用 llama3 微调了一个甄嬛。

    真的不难!!!!
    nicholasxuu
        38
    nicholasxuu  
       127 天前
    直说你不会呗,或者让用 kimi 之类的付费产品去。
    不然咋样?让大家写个新手都能快速上手的私有部署大语言模型知识库教程?
    winglight2016
        39
    winglight2016  
       127 天前
    很简单,做个最基础的 RAG 就够了,可以外包给我,一周内搞定吧
    keethebest
        40
    keethebest  
       127 天前
    最简单的方案就是直接套个皮,对接国内的 ai 。 豆包,kimi 都可以。
    supuwoerc
        41
    supuwoerc  
       127 天前
    买显卡,部署开源模型,docker 启动 dify ,喂知识库,完成。
    austfisher
        42
    austfisher  
       127 天前
    coze 平台直接部署
    YVAN7123
        43
    YVAN7123  
       127 天前
    预计下个任务是造个火箭!
    sampeng
        44
    sampeng  
       127 天前
    老板都说了。可以适当招 2 个人,外包。就是愿意花钱啊。先写个 PPT 。预算 100 万。
    meeop
        45
    meeop  
       127 天前
    1 大概率只需要写个 prompt,然后用 gpts 包装下
    “你扮演哲学家 xxx,以他的角色和口吻回答用户问题,如下是用户的问题:”

    2 复杂点就对接个支持上传文档的模型,上传文集,然后还是上面这个 prompt

    3 再复杂就部署 Llama+少量定制,比较麻烦,但也能搞,不需要编程知识
    GensKinsey
        46
    GensKinsey  
       127 天前
    ibazhx
        47
    ibazhx  
       127 天前
    Vegetable
        48
    Vegetable  
       127 天前
    外包给我
    darkengine
        49
    darkengine  
       127 天前
    找老板要 100W 的经费,花 20W 外包出去 /doge
    nuomi196500
        50
    nuomi196500  
       127 天前
    你没理解的老板的需求,他想表达的意思是做出一个带有某位作家风格的聊天机器人,这个真的很好实现,ChatGPT 里很多类似的机器人,国产的 AI 也可以自己配置。但是你别傻乎乎告诉他实现方式,要说的很难,很大,上价值,上高度,多扩充自己团队
    jwenwang
        51
    jwenwang  
       127 天前
    很简单啊,直接用字节家的扣子开发一个 bot 就完了,

    把哲学家的文集作为知识库传上去,然后提示词写一下你是一名哲学家,用户会和你对话,你分析理解知识库内容,然后和用户进行对话,

    不就完了?
    0703wzq
        52
    0703wzq  
       127 天前
    这点数据量还不至于自己训练... 知识库方案。
    tinyzilan123
        53
    tinyzilan123  
       127 天前   ❤️ 1
    居然没有人回答 openai

    https://platform.openai.com/docs/guides/fine-tuning/preparing-your-dataset
    直接使用 openai 的 fine-tuning 模型,自己喂数据,在这基础之上就有了自己调优过后的专门 gpt
    dabingbing
        54
    dabingbing  
       127 天前   ❤️ 2
    最多也就 1000 人左右(并发可能就 30 人以内),额... 并发可能也就是 1
    aapon
        55
    aapon  
       127 天前
    蹲一个后续,希望介绍详细点?
    cuicuiv5
        56
    cuicuiv5  
       127 天前
    关键词 Graph RAG
    angry41
        57
    angry41  
       127 天前
    百度文心有深度定制的大模型吧,可以了解一下
    yangfan1999
        58
    yangfan1999  
       127 天前
    RAG 方案 +1 ,再用 Prompt 调优试下。
    COZE 提供了一份 RAG 的最佳实践,可以参考: https://www.coze.cn/docs/guides/product_knowledge_bot
    Dogergo
        59
    Dogergo  
       127 天前
    阿里的百炼平台可以,导入知识库,基于非结构话数据就可以,也就是说你上传点 txt,pdf,word 啥的也行,就是千问问答时候要收费
    iloveayu
        60
    iloveayu  
       127 天前
    楼主文科生吧,这标题可以直接去 uc 震惊部报道了,哪有让桌面自研 AI 大模型的,我 40 米长刀都拔出一半要帮你砍老板了,结果他要的只是个套皮。
    同意 3 楼,先把显卡买了。
    cslive
        61
    cslive  
       127 天前
    写好 prompt ,openai 已经给你训练好了
    uiosun
        62
    uiosun  
       127 天前
    @Jinnrry 这事听起来不难,当时 GPT3 出圈的时候,就有个法国小哥用 8 刀微调了一个法文本地化的 GPT (包含语言和一些本地知识),对着油管就能做到

    但就像大家说的,这玩意还是找商业定制吧,不然出了问题又得自己去修复,莫名其妙的工作量就来了
    myderr
        63
    myderr  
       127 天前
    直接找国内大厂商啊
    hutng
        64
    hutng  
       127 天前
    只要预算足,登月也给他安排上。
    Hef
        65
    Hef  
       127 天前 via Android
    GTPs 自定义一个就可以吧,一会就搞定了
    enihcam
        66
    enihcam  
       127 天前
    “去把唐僧干掉。” “啊?我?”.jpg
    microchang
        67
    microchang  
       127 天前   ❤️ 1
    djv
        68
    djv  
       127 天前
    服务商挺多的,文档看看呗;
    或者开源模型自己喂自己搭,2B 的拉跨,8B 、9B 的将就用还是可以的。
    hefish
        69
    hefish  
       127 天前
    你们公司不错,我也想加入。 加入了就能起飞了。
    shiyuu
        70
    shiyuu  
       127 天前
    先让他采购一台 8 卡的算力服务器
    yikyo
        71
    yikyo  
       127 天前
    @oColtono 过滤一下,他说 kimi ,你就把他替换掉
    yufeng0681
        72
    yufeng0681  
       127 天前   ❤️ 1
    你调研完毕,说这个东西耗 GPU ,算法也很吃技术。 自己搭建不划算,可以用 openai ,智谱清言等公司的虚拟人物来做。

    智谱清言
    1 、可以单独弄个 虚拟人物 ,上传文件(投喂材料)。 也看到别人发布的智能体
    2 、可以调用 api ,也就是可以把虚拟人物变成你的后台
    https://github.com/MetaGLM/glm-cookbook/blob/main/README.md
    zx9481
        73
    zx9481  
       127 天前
    了解一下 rag 即可
    mwuxlcanrh
        74
    mwuxlcanrh  
       127 天前
    RAG 即可,可以套用 coze 等平台的接口,很方便。
    nuonuojump
        75
    nuonuojump  
       127 天前
    楼上说的对,多搞几个 HC ,然后再搞几个 4090 申请点经费,等人来了,把需求推下去,去耍黑悟空,大不了搞个 UI 界面,就欺负他不懂。大家一起快乐一下,还能提升下就业率,出去了还能吹牛逼,构建 AI 团队 实现巴拉巴拉吧。。
    fat4fox
        76
    fat4fox  
       127 天前 via Android
    这么能干!!!我给你 100 万,帮忙把在东北
    fat4fox
        77
    fat4fox  
       127 天前 via Android
    这么能干!!!我给你 100 万,帮忙把外东北收复回来,就算做不到,给我出个一百万内可行的方案。
    wupher
        78
    wupher  
       127 天前
    这个走 RAG 的话,不用编程也是能干的。

    但编程可能细节控制更好。

    不用你开发大模型,也不用折腾 Llama3 微调啥的。
    seven123
        79
    seven123  
       127 天前
    这个到不难,RAG 即可,dify 或者 fastgpt 都能做
    zenithar
        80
    zenithar  
       127 天前
    和楼上各位不同,我第一反应是好奇 OP 工资多少,工作职能不是一般的多啊。
    konakona
        81
    konakona  
       127 天前
    自己训练模型去吞 40w 数据不现实,我更推荐你联系国内 AI 云商提供商业报价,它们来就是干这个的。
    关于硬件资源这一点,你老板就很难 hold 。

    以下内容摘自 GPT:
    要训练 40 万条数据,所需的硬件资源取决于几个关键因素,如模型的大小、数据的复杂性、训练时长以及所需的精度目标。以下是一个大致的硬件配置建议:

    ### 1. **GPU**
    - **高端 GPU**:建议使用 NVIDIA A100 、V100 或 RTX 3090 等高性能 GPU 。这些 GPU 在深度学习任务中表现出色,并且可以加速训练过程。
    - **多 GPU 集群**:如果数据量很大,使用多个 GPU 来并行训练会更加高效,特别是当你需要缩短训练时间时。

    ### 2. **CPU**
    - **多核 CPU**:如 Intel Xeon 或 AMD EPYC 系列,配备多核可以加快数据预处理和加载的速度,虽然深度学习的主要计算任务还是依赖 GPU 。
    - **充足的缓存**:更大的缓存能有效提升数据预处理的效率。

    ### 3. **内存 (RAM)**
    - **大容量内存**:建议至少 64GB ,甚至 128GB 或更多。大容量内存有助于处理大批量数据,尤其是在训练前的数据预处理阶段。

    ### 4. **存储 (Storage)**
    - **SSD**:使用 NVMe SSD 来存储数据和中间结果,以确保数据加载和存储的快速响应。
    - **足够的存储空间**:确保至少有几 TB 的空间用于存放原始数据、模型权重、检查点等。

    ### 5. **网络**
    - **高速网络连接**:如果使用分布式训练,确保集群之间的网络连接速度足够快,以免在数据传输时成为瓶颈。

    ### 6. **散热和电力**
    - **有效的散热系统**:高性能的 GPU 和 CPU 在满负载下会产生大量热量,需要有良好的散热系统来维持硬件的稳定性。
    - **充足的电力供应**:确保电源能够支持所有硬件满负荷运行,避免因电力不足导致的意外中断。

    ### 7. **软件环境**
    - **深度学习框架**:如 TensorFlow 或 PyTorch ,这些框架都有优化的 GPU 加速支持。
    - **驱动和库**:确保安装最新版本的 CUDA 、cuDNN 等驱动和相关库,以充分利用 GPU 性能。

    ### 8. **云计算资源**
    - 如果本地硬件资源不足,可以考虑使用云计算服务如 AWS 、Google Cloud 或 Azure 来租用高性能 GPU 和其他资源。这些服务通常可以按需扩展,并且有较好的计算资源管理工具。

    ### 训练时间
    训练时间可能从几小时到几天不等,具体取决于数据的复杂性和模型的大小。使用上述配置,可以有效地处理和训练 40 万条数据集。

    准备好这些硬件资源后,你就可以开始模型的训练过程,并确保在训练中不断监控资源使用情况,以优化性能和效率。
    dream7758522
        82
    dream7758522  
       127 天前 via Android
    用扣子平台,抖音旗下的,你试试。不是太难,可以傻瓜部署
    falcon05
        83
    falcon05  
       127 天前
    这不是就是 LLM 最擅长的角色扮演吗?写个 prompt 调用各种 LLM 的 api 就行了,不需要自己调优,最多做一个 chatgpts 导入资料。
    Felldeadbird
        84
    Felldeadbird  
       127 天前
    看完楼上大佬们,我还是太菜了。我想到第一个想法就是:直接找现成套 GPT 的程序- -。然后跑接口。
    dartabe
        85
    dartabe  
       127 天前
    调优很简单的 网上租卡就搞了 效果比 prompt 好 小模型效果就可以了

    但是说实话不知道你工资是不是匹配这个任务
    simo
        86
    simo  
       126 天前
    楼上有推荐扣子的了,没问题。
    rag 应该就能糊弄过去
    limfoo1
        87
    limfoo1  
       126 天前
    @dabingbing 绝对是 1 吧 笑发财😂
    dyyhobby
        88
    dyyhobby  
       126 天前
    2 块 4090 的建议靠谱
    southsala
        89
    southsala  
       126 天前
    你觉得有啥纸面书是没喂给 AI 的,搞个 GPTs 这类的东西就行
    lostexile
        90
    lostexile  
       126 天前
    你不是做开发的吗,怎么还不会修电脑呢。
    Hyun1006
        91
    Hyun1006  
       126 天前
    这两天正在薅阿里云羊毛,我觉得 op 可以参考一下
    https://help.aliyun.com/zh/model-studio/use-cases/?spm=a2c4g.11186623.0.0.25861078Rd36zZ
    echoless
        92
    echoless  
       126 天前
    https://github.com/swuecho/chat 都做好了, 你只要写个 prompt.
    arcaitan
        93
    arcaitan  
       126 天前
    感觉很简单啊, 你老板有 gpu 预算吗?买上服务器, 招个人把哲学书做做标签, 随便 tunetune 就完事了
    huzhizhao
        94
    huzhizhao  
       126 天前
    肯定还是 2 块 4090 方案 靠谱
    bugmaker233
        95
    bugmaker233  
       126 天前
    你竟然还接下了
    liuidetmks
        96
    liuidetmks  
       126 天前
    先让他采购几块 H200 ,说跑模型
    cutchop
        97
    cutchop  
       126 天前
    外包给我,给你 50%回扣
    EndlessMemory
        98
    EndlessMemory  
       126 天前
    还是楼上的大佬懂得多
    unco020511
        99
    unco020511  
       126 天前
    最简单的是搞个页面,每次把 40w 字的全文+指令都给 gpt,让 gpt 回复输出即可.更好一点的就是用做个 RAG,先检索一下向量数据库,再给大模型提问.
    40w 的文本数据不多,应该不需要 LoRa
    AdminRoot123
        100
    AdminRoot123  
       126 天前
    @oColtono #16 搜下 rag 吧 你这个实现应该还好
    1  2  
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1032 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 19:55 · PVG 03:55 · LAX 11:55 · JFK 14:55
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.