V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  mythabc  ›  全部回复第 5 页 / 共 40 页
回复总数  783
1  2  3  4  5  6  7  8  9  10 ... 40  
2024-04-17 11:20:28 +08:00
回复了 dododada 创建的主题 程序员 AI 服务器配置在线推荐
没那么复杂,因为没有几款可以选的

GPU: NVIDIA ampere 、ada lovelace 、hopper 架构的工作站卡、数据中心卡,techpowerup 的 GPU 数据库里面筛选一下就出来了,但是里面的算力不是很准确,要搜 NVIDIA 的官方参数。常见的训练卡 A100/H100 。 推理 4090 、A6000 、A40 等。
连接性要考虑上不上 nvlink 、nvSwitch 。前者只能连接两张卡,后者用在 HGX 平台一出手就是八张卡。

CPU 就志强三代、四代。AMD 宵龙。cpubenchmark 上看个单线程、多线程跑分。
大多数 ai 应用都是在玩提示工程,这个还是要会的。
移动互联网时代也不是所有参与者要知道移动终端怎么做的,手机通信是什么原理。
2024-04-10 15:14:03 +08:00
回复了 tangshuier 创建的主题 问与答 v 友能否给文科研究生推荐一门进可攻退可守的编程语言
简单低门槛和好找工作是矛盾的。
目前就业市场程序员供大于求,简单低门槛意味着竞争者多,那工作就不好找。
2024-04-09 23:58:42 +08:00
回复了 weishao666 创建的主题 问与答 关系型数据库的数据喂给大模型?
你知道 text-to-sql 吗?
以前做数据平台的厂商,基本都用 LLM 做了各类 chat copilot ,实现对话取数了。

举个栗子:gbi.cloud.baidu.com
2024-04-09 01:17:03 +08:00
回复了 keepRun 创建的主题 程序员 用了下秘塔 ai,感觉有点东西啊
你再试试 perplexity.ai
2024-04-06 15:41:39 +08:00
回复了 Ta0Ta0Ta0 创建的主题 问与答 求助!讨论下 AI 的课题选择
公司现在除了大模型的岗位在招人,其他所有岗位都在裁员。

你管他能不能实现 AGI
2024-03-28 20:25:17 +08:00
回复了 flypei 创建的主题 汽车 雷布斯 正在发布 小米 SU7
苹果生态支持点赞啊。

另外这个 1.8B 的大模型能达到 demo 里的效果吗?有点怀疑
恭喜你已开出盲盒奖品为阿里云社区积分 100 个(一分钟后生效)。分享更多好友参与,有机会赢取 iPhone15 、机械键盘等大奖!
2024-03-13 01:22:11 +08:00
回复了 shoumu 创建的主题 程序员 打算配一台主机用于跑大模型玩,大佬们有推荐的配置吗
顺带一提:我比较极限,把以上配置塞进了 SSUPD 里,一个 15L 体积的机箱。
2024-03-13 01:21:05 +08:00
回复了 shoumu 创建的主题 程序员 打算配一台主机用于跑大模型玩,大佬们有推荐的配置吗
本地只能跑跑推理和 7B lora 训练。更大规模的训练可以选择租 A100
我的配置是:
GPU:4090D 虽然是 dog 版,但是目前 4090D 的性价比是比 4090 高的。
板 U 内存:B550I + 5800X + 2 *32G 以前攒的,跑大模型对 CPU 要求不高,内存要注意有一些步骤,比如 lora 合并、量化会使用内存,如果内存太小可能就跑不起来,64G 是需要的。

电源散热机箱:根据自己需求配把。

主要成本还是显卡。
19.99 基础款(实际没有库存,只是压价)
23.99 走量款
36.99 高端梦想款
2024-03-10 00:14:50 +08:00
回复了 struggletoday 创建的主题 职场话题 应聘顺丰收派员后,混沌的一周
以前做什么工作?
2024-03-09 22:06:37 +08:00
回复了 yukiyama 创建的主题 Apple 新款 M3 MacBook Air 到底该买什么配置?🤔
M2 24+512 > M3 16 + 512
2024-03-09 22:06:08 +08:00
回复了 yukiyama 创建的主题 Apple 新款 M3 MacBook Air 到底该买什么配置?🤔
24+512 ,16 内存根本不够用
来看看我凤雏的作品:
工商银行取得「基于 Spring Boot 的 web 系统后端实现方法及装置」专利


www.oschina.net/news/279004
2024-02-09 20:21:14 +08:00
回复了 u123 创建的主题 问与答 宗教之外健康人不喝酒的正当理由
不喝酒还要找理由?爷才不惯着你
2024-02-08 10:55:58 +08:00
回复了 cmonkey 创建的主题 Local LLM 运行 LM Studio 的电脑硬件配置
一步到位 4090 。其他卡都是勉强跑起来,你会不断花时间在纠结这破卡是不是该换了。
不要只看 int4 的模型最低的显存占用,prompt token 上去以后显存占用会暴增,平方关系。
2024-01-31 22:57:01 +08:00
回复了 echo0x000001 创建的主题 生活 你们喜欢过年吗?
小时候觉得过年很有氛围,其乐融融。
长大了经历了很多事,觉得很多的亲情充满了虚伪,就不喜欢过年了。就当是扣了调休多放三天假。
在农历新年将至的时间里,我决定扮演两周回民,不过春节。
1  2  3  4  5  6  7  8  9  10 ... 40  
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2889 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 33ms · UTC 07:59 · PVG 15:59 · LAX 00:59 · JFK 03:59
Developed with CodeLauncher
♥ Do have faith in what you're doing.