V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  neteroster  ›  全部回复第 6 页 / 共 44 页
回复总数  867
1 ... 2  3  4  5  6  7  8  9  10  11 ... 44  
给张例图
2025 年 3 月 13 日
回复了 shuiguomayi 创建的主题 问与答 3000 元以内最强半高刀卡显卡推荐?
半高刀卡限制太严格了,技嘉有张 4060 Low Profile ,不过 8G 跑 14B 还是太勉强了
跑 memtest ,大概率内存本身就有问题
2025 年 3 月 6 日
回复了 atao777 创建的主题 计算机 diy 主机: itx 值得选择吗?
能不装不装,ITX 箱子装起来非常麻烦,没注意很容易这儿冲突那冲突,安装操作起来也很困难。如果实在要装也建议考虑大点的紧凑机箱,比如闪鳞 G300/400/500 这种 10-20L 的,硬件兼容性也会好很多。

最近装了台 G300 + ITX 板 + ATX 电源 + 4070 ,这个大小的机箱都不怎么好处理了。另外装极限小机箱或者紧凑机箱可以考虑 MoDT CPU ,7945HX 或者 Intel 对位的,能效比好很多,紧凑机箱散热比较紧张,散热多给显卡留些。
2025 年 3 月 3 日
回复了 v2er4241 创建的主题 Local LLM 求 DeepSeekR1 性价比硬件推荐
只有 671B 是“真正的” R1 ,其他蒸馏版本都没有跑过本体的训练管线,其实不能叫 R1
2025 年 2 月 25 日
回复了 crac 创建的主题 前端开发 vue 开发 AI chat 的 ui, markdown、数学公式渲染用什么库
2025 年 2 月 25 日
回复了 crac 创建的主题 前端开发 vue 开发 AI chat 的 ui, markdown、数学公式渲染用什么库
MathJax / KaTeX

\( ... \) 和 \[ ... \] 也是 LaTeX 的标准公式语法。mathjax / katex 都可以配置分界符正确渲染它们。
2025 年 2 月 25 日
回复了 mingtdlb 创建的主题 问与答 AI 有和没有深度思考 联网搜索区别?
deepseek r1 和 openai o* 的所谓深度思考是强化学习训练得到的思维链,已经被证明能够大幅提高数学和复杂推理的能力,其他领域的泛化能力有待进一步观察。

联网要看具体实现方法,一般来说对事实性问答以及时效性消息问答会有显著提升。不过也有可能受不可靠消息源误导。
2025 年 2 月 15 日
回复了 v2dev 创建的主题 NVIDIA NVLink 对显卡集群的影响有多大?
1. 都用这些设备了不用 sglang 跑去用 ollama 这种干啥
2. 没多大并发占用当然不会高,bs=1 decode 是显存带宽瓶颈。
2025 年 2 月 13 日
回复了 meeop 创建的主题 奇思妙想 一个想法,使用大模型作为数据库的极简服务模型
> 数据和状态变更喂给大模型,作为增量训练数据更新大模型来实现

持续学习某种程度上是机器学习和 LLM 领域的“圣杯”,目前研究距离这个目标还远的很。除去成本因素还有一些更本质的问题,例如[灾难性遗忘]( https://arxiv.org/abs/2308.08747)。

另外,目前的大模型没法直接从预训练文本泛化到各种任务,例如通用 QA 。例如你预训练代码库,不做其他处理的情况下模型根本没法回答/检索关于这个代码库的问题。这些都是要靠数据管线做的,甚至还需要很多“智能工人”。
因为模型能在语言间泛化,不仅包括人类语言,也包括编程语言。而且训练多种语言之后可以承担很多跨语言任务。

#7 > LLM 翻译虽然很通顺但不准确,以前用 GPT 翻译经常把意思改了

当前 SOTA 模型在常见语言互译上已经可以做到相当高的精度,特别是在上下文充足的情况下,已经不是传统的翻译模型可以企及的了。
Together 和 Fireworks.ai
还有一个比较便宜的不过我没试过 https://studio.nebius.ai/playground?models=deepseek-ai%2FDeepSeek-R1
2025 年 1 月 26 日
回复了 frankyzf 创建的主题 软件 windows 桌面端翻译软件支持大模型翻译的有哪些?
2025 年 1 月 25 日
回复了 annoygaga 创建的主题 Local LLM 🦙 对话效果最好的 7B/1.5B 模型大家用的哪个?
@sworld233 R1 蒸馏的 Qwen 7B 是拿 Math 版本的,所以一般任务有点一言难尽。14B 和 32B 才是普通的版本蒸馏出来的。

---

楼上说的 Gemma2 9B 就可以,然后还有 GLM4 9B ,Qwen 2.5 7B 也还可以。
R1 确实很猛,带思考的大模型做这种题只会越来越强,毕竟:结果可验证 + R1 指明了强化学习在推理 LLM 上的有效性,这俩一结合就能预估这种算法竞赛未来的 LLM 能打过所有人类就是和 alpha go 打败人类棋手一样自然的事情。

虽说如此,实际应用场景复杂得多,还要在 Agent 、超长记忆、持续学习这几个领域有所进步才行,现在的技术这几个方面是明显薄弱的。很期待未来的发展。
1 ... 2  3  4  5  6  7  8  9  10  11 ... 44  
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   4927 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 351ms · UTC 09:53 · PVG 17:53 · LAX 02:53 · JFK 05:53
♥ Do have faith in what you're doing.