V2EX › mushuanl 的所有回复 › 第 1 页 / 共 2 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2

❮

❯

254 天前

回复了 shoumu 创建的主题 › 程序员 › 打算配一台主机用于跑大模型玩，大佬们有推荐的配置吗

大模型主要瓶颈在内存访问速度，直接上 mac 然后 llama.cpp, 大于 13B 的也能玩
因为 13B 简单玩几次就腻烦了，参数越高性能越好

326 天前

回复了 shuiguomayi 创建的主题 › Linux › 使用版本制的 Linux 大拿遇到系统更新是怎么做的？

一般应用和业务运行在 docker 或 k8s 内，主系统升级不影响

2023-09-19 22:18:04 +08:00

回复了 sunmacarenas 创建的主题 › NVIDIA › Nvidia Jetson AGX Ori 开发者套件

全尺寸模型，也就是 gpu 内存要求很大微调成本很高。一般就租云服务器去练习。

2023-09-19 22:16:52 +08:00

回复了 sunmacarenas 创建的主题 › NVIDIA › Nvidia Jetson AGX Ori 开发者套件

企业微调要求全尺寸 nv gpu ，个人玩可以用量化模型。另外现在企业微调的效果并不是很好,包括 rag(提供上下文进行推理），所以现在大模型开始有点冷了，就看看谷歌出的模型如何了。

2023-09-19 20:49:38 +08:00

回复了 sunmacarenas 创建的主题 › NVIDIA › Nvidia Jetson AGX Ori 开发者套件

现在开源大模型除了企业研究外其他普通人一般就用来生成 s 文和 s 聊天，功能太弱，最大的那个 180b 刚出，看看有没人调教，我体验过基本超过 gpt3.5 但是没到 gpt4, 不知道是否有人能发挥出它的性能

2023-09-19 20:45:05 +08:00

回复了 sunmacarenas 创建的主题 › NVIDIA › Nvidia Jetson AGX Ori 开发者套件

要跑 llama213b 那么 13900+ddr5 也够了, llama.cpp 大概 1 秒 5token ，跟得上自己的速度。但是关键是现在没有 ai 应用场景，也就是除了 gpt4 场景外其他的比较弱，如果你不喜欢玩 roleplay ，并且没有自己的 ai 想法，那么可能过段新鲜感时间后基本就不玩了

2023-09-19 13:56:00 +08:00

回复了 sunmacarenas 创建的主题 › NVIDIA › Nvidia Jetson AGX Ori 开发者套件

计算力上去后大模型主要跟内存速度有关，要跑大模型并且想简单，还是建议 mac + llama.cpp, 800gb/s 速度可以直接跑 falcon 180b (得 192g 内存版本的) 个人觉得这个模型虽然微调难度大，但微调结果超过 gpt3.5

2023-09-05 08:03:04 +08:00

回复了 aldehyde 创建的主题 › 程序员 › 想接触硬件开发，从哪入手比较合适？

硬件学习曲线高试错成本高，都找科班出身的

2023-08-31 23:50:40 +08:00

回复了 yhm2046 创建的主题 › 程序员 › 目前有什么开源的语音转文字准确率高的？

拿最大的那个模型，不要量化，我前面直接 cpu 转的效果不错

2023-08-12 08:02:39 +08:00

回复了 Roger1007380462 创建的主题 › 程序员 › 请教部署一个大模型的成本大概是多少呢？

有 a100 之类的卡吗？搞上 5 个以上，然后上 vllm, 但是 10b 以下可用性太差，能满足功能要求吗？一般都是 13b 起步，如果 33b 发布那么更好建议是 33b

2023-05-25 08:47:04 +08:00

回复了 est 创建的主题 › 程序员 › 最近裁员有感：互联网行业的待遇来源

互联网挣钱的原理在于它与工业不同：
1. 工业贵的是机器，人是辅助机器的，所以重点是维护和升级机器，工人收入低，管理人员能够组织工人更好的利用机器价格会更高
2. 工业是生产实体的，需要耗费生产成本运输成本宣传成本等才能得到一点毛利率，在不知道市场真正需求容量前不敢大规模投入来摊薄成本来提高收入
互联网是反过来的，所以看互联网收入时不能把这些互联网的生产者跟工业时代的工人收入做对比

2023-05-24 18:35:38 +08:00

回复了 xiaoxiyiha 创建的主题 › 程序员 › 小白趁 618 装个机，求大佬帮忙看看有没有不兼容的或者不对的地方

建议上 ddr5 ，看 llm 是下一个大风口，而内存越来越重要，上 ddr5 可以用得更久

2023-05-20 17:05:59 +08:00

回复了 mgrxwl 创建的主题 › 生活 › 农村老家被要求在门口装摄像头。

@mgrxwl 没有嘲笑的意思，
人生经历的事情多后会发现，很多时候像我们这样的小民考虑问题时更多考虑到是我们要依靠组织的力量，而不是认为组织故意针对自己。
要针对自己的团体太多了，组织为了名声还不至于看上小民这点东西。
从这个观点出发看问题应该会效率更高。
就像说个人隐私的，例如个人密码聊天记录交易记录等，只要使用平台那么那个平台都会收集数据，还有网贷等等，个人完全无抵抗能力，只能希望组织去管理规范。

2023-05-20 15:28:44 +08:00

回复了 mgrxwl 创建的主题 › 生活 › 农村老家被要求在门口装摄像头。

农村那么大地方那么多老人那点警力，只能希望自己不出事，真出了事有探头还不一定能够有警力去排查，没个探头那就听天由命了
看到说自己掏钱监控自己的就觉得好笑，个人在组织面前就是赤 luoluo 的只是有没必要动用组织力量的问题多一个探头也不会多什么东西

2023-05-18 20:38:05 +08:00

回复了 dada88xyxy 创建的主题 › 程序员 › 请教一下大伙是怎么样保存互联网文章？

notion, 复制粘贴然后保持原链接。
看过一段时间后自己整理一下

2023-05-04 14:18:35 +08:00

回复了 dayeye2006199 创建的主题 › 程序员 › AI 热下被忽视的编程语言

c++开发效率低对开发人员要求高出错难以定位，在 AI 时代难有大作为
大家都在拼快速修改快速验证快速迭代，语言层面的事情越少越好，让开发者把重心放在业务层面的开发上
毕竟开发人员的时薪和抢占市场对效率要求可不低，

至于 C++能提高的那点性能，因为业务会快速修改，已经被业务开发和定位占用的时间给抵消并且变成负的了（维护代码对开发人员要求高）
现代 C++只适合写那些不经常改变，对性能要求高，并且有高额利润的东西，这些才能养得起高水平开发人员和维护团队，例如量化，或是游戏库等，市场还会收到 rust 的抢占，应该还是会减小。

2023-05-01 07:39:24 +08:00

回复了 404www 创建的主题 › 程序员 › 当问 gpt 不太熟悉得领域时，如何不被误导或者如何将错误降到最低？

“解释你的回答背后的原因。” 让 ChatGPT 解释其思考过程可以帮助您更好地理解它是如何得出结论或解决方案的，还可以提供可能对您有用的额外上下文。可以试试看

2023-04-30 20:47:06 +08:00

回复了 Brentwans 创建的主题 › 程序员 › 我们组负责人离职了，我该咋办

基本上是组要解散的意思，
如果公司先找你才是你要提升。因为公司能提前一个月得知负责人离职消息，然后会提前安排后备领导。这时如果觉得你合适那么会提前跟你聊，或是大领导提前安抚人心
如果都没有，一切无声无息那大概率是要解散

2023-04-28 19:37:21 +08:00

回复了 yuhuanxi 创建的主题 › 程序员 › 大环境好转，工作机会多起来了吗？

@goodman111 算力和数据都不是问题，算法方面有差距但是可以通过堆参数去。如果仅看当前国产 ai 能力很容易小看，但是联系到 ai 到身份地位那么就不会这样想了，
最关键 ai 的另一个身份是武器，ai 的理解和推理能力可以增加企业竞争力，
ai 的快速信息输出能力可以用在社交媒体上引导 yl ，扭转人们看法和内心思想
ai 内部的偏见可以输出自己的价值观 - 毒教材几幅画就引起这么大的舆论，那么 ai 呢，
ai 收集的信息可以出售给竞争对手，
从这些角度看 ai 有关系着生死存亡的能力，无论国家还是大企业都会全力投入

1 2

❮

❯