V2EX › icyalala 的所有回复 › 第 8 页 / 共 207 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 4 5 6 7 8 9 10 11 12 13 ... 207

❮

❯

232 天前

回复了 guoguobaba 创建的主题 › Local LLM › mac studio 跑大模型也就那样啊

@june4 现在 LLM 推理大部分情况下瓶颈是显存带宽而不是算力。
A100/H100 那些显存都是贼贵的 HBM ，带宽都是几 TB/s ，MacStudio 512GB 带宽也就 800GB/s ，根本比不上
内存方案基本就是 ktransformers ，CPU/GPU 算力足够的时候，同样也是受限于内存带宽

232 天前

回复了 guoguobaba 创建的主题 › Local LLM › mac studio 跑大模型也就那样啊

之前吹的是说这个小的单机上能加载 617b 模型，而其他消费级显卡显存不够，压根跑都跑不起来。
你 amd + 64g 内存跑个 617b 看看呢？

233 天前

回复了 seekseat 创建的主题 › 编辑器 › 随着屏幕的增大，还在限制或建议每行 80 个字符是否还合理？

代码是要给别人看的，而别人并不一定都像你一样有着大屏幕
我在用笔记本的时候，分左右两栏对比，80 字符就非常好，100 也不错

235 天前

回复了 catazshadow 创建的主题 › 分享发现 › 总是有人从 AI 怎么工作反推大脑就是如何如何，人类就是如何如何

@catazshadow
首先人工神经网络只是灵感来源于生物神经元，并不是精确模拟。
其次 LLM 的参数只是计算过程的中间状态权重，与神经元连接数量并不能直接对比。
所以首先你对神经元理解就有问题，并且非要用权重和连接数量对比，这本身就是错误。更不用说还认为 “参数量不如人脑，所以没有智能” 的看法了。。。

235 天前

回复了 catazshadow 创建的主题 › 分享发现 › 总是有人从 AI 怎么工作反推大脑就是如何如何，人类就是如何如何

@catazshadow “上头别人不是问过你了，你要怎么定义智力啊？还是说你非要拿苹果和梨比？”
你自己在主题里就写了 “它给的只是智能的错觉而已”，你是怎么定义智力的？

你要认为 AI 的智力和生物的智力不是一个东西，那就不应当拿 AI 参数和神经元连接对比，因为他们根本不是一种东西。

235 天前

回复了 catazshadow 创建的主题 › 分享发现 › 总是有人从 AI 怎么工作反推大脑就是如何如何，人类就是如何如何

@catazshadow "大模型参数量和神经连接对应" 啊？！
你既然这么认为，那就回到最开头的问题，现在 GPT4 的参数量级和老鼠的量级相当，你觉得他们智力相当吗？

235 天前

回复了 catazshadow 创建的主题 › 分享发现 › 总是有人从 AI 怎么工作反推大脑就是如何如何，人类就是如何如何

@catazshadow 你再仔细读读你的帖子主题，
”600B 的大模型的参数量也就这个数字的千分之一“，大模型的参数量和神经元连接是一回事儿吗？能够类比吗？

235 天前

回复了 catazshadow 创建的主题 › 分享发现 › 总是有人从 AI 怎么工作反推大脑就是如何如何，人类就是如何如何

@catazshadow 有用就是说能够对应智力水平。神经元的连接能够对应智能的水平吗？你怎么证明？
LLM 的参数能对应应神经元的连接数量吗？你怎么证明？