近期领导找聊天,我们内部在做一个 LLM 相关的项目,想让我过去做,说是可以提供一些显卡和一些钱组工作站在家里整这件事(家宽比较方便),估计是 4090 这个级别的卡外加几千块钱,每月补贴电费网费这样
这算一个研究中的项目,主要是利用 LLM 做一个工程上的东西,我还比较感兴趣,而且老板说每周大概可以抽一天时间居家办公做这件事,感觉也挺不错的
1
cookgo 283 天前
为啥公司的项目要把设备部署在你家?有没有一种可能:AI“跑偏”了之后你要承担所有的法律责任?
|
2
efore 283 天前
自己感兴趣的话完全可以做,不在家的工作日还可以出租显卡,比如咸鱼上挂单帮别人跑跑数据集啥的。只是你得保证最后得有产出
|
3
CodersZzz 283 天前
一周一天都要在家里弄,公司是给不起电费吗。
|
5
CaptainD OP 办公室网很差
|
7
Yuhyeong 283 天前
4090 单卡跑大的 LLM 感觉有点凑合啊,待遇感觉挺好,就是这条件有点难出成果。
|
8
CaptainD OP @Yuhyeong #7 我对硬件什么的不太了解,有相关资料吗?
不会用 4090 直接部署,是用 4090 把流程跑通,后续部署在云上,可能会用 serverless 的服务,我们也在看一些 8 卡机器的托管,因为调用量很大,部署肯定不是单卡 工资相比互联网很低。。。 |
9
Feiex 283 天前
为啥不用线上的 GPU ,要自己组机器,电费谁掏?
|
12
vicalloy 283 天前
如果只是领导突发奇想的一个想法,建议不要主动入坑。
所谓的训练啥的,基本按照流程操作就好了,不会有太多技术方面的东西。 主要靠的是算力和原始数据的整理,这两个,一个是钱,一个是体力活。 |
13
nnqijiu 283 天前
入坑需谨慎
|
14
CaptainD OP @orikey #11 我看了一下,好像还不是我需要的,因为调用都是机器调用,不需要界面,也不是简单的问答形式,本地知识库的部分可能有些帮助,我可能要研究下
|
16
min 283 天前
调什么调,直接 gpt4+RAG ,4090 卖了换钱
lol |
17
Flicker 283 天前
看标题,感觉可以去;看了内容,还是算了吧。楼上大家说得都很对。
|
18
wonderfulcxm 283 天前 via iPhone
为什么不做呢?又不用你出钱。
|
19
me1onsoda 283 天前
想起了前阵子的 gpt 哥
|
20
locoz 283 天前
什么样的操作,会出现“家宽比较方便”的情况?设备放公司通常不都是更加方便的选择吗?这一点如果没有合理的原因,还是别了吧...
|
22
Eafon 283 天前
做老板都不知道自己到底想要什么,你就别瞎掺和了,除非这件事是你特别感兴趣,那玩玩无妨。
|
23
beyondsoft 282 天前
不要自己搭建了, 单卡 4090 没有什么算力, 微调个 30b 都难. 建议去用租云 GPU, A100 也不是事,还便宜
|
24
kuroissimo 282 天前
13B 的模型加载起来都要 27G... 单卡 4090 没有用的
|
25
peezz 278 天前
几个人的小作坊公司,比互联网工资低很多,就是要个人来干杂活,让你在家里整,就是有备无患,云上被端了,你家里还有备份。
|