 |
zzutmebwdV2EX member #62082, joined on 2014-05-07 10:29:14 +08:00Today's activity rank 4355 |
 |
Per zzutmebwd's settings, the topics list is only visible after you sign in |
Deals info, including closed deals, is not hidden
zzutmebwd's recent replies
18h 46m ago Replied to a topic by Livid › Local LLM › DiffusionGemma |
@coefu 你看下跑分呢，gemma4 原版都干不过 qwen3.6 ，这个 diffusiongemma 更笨了...不是新的就是好
18h 59m ago Replied to a topic by pz886 › 职场话题 › 25 岁专科女生，求网友指路 |
目前这个市场行情，还是嫁人来钱快。
19h 10m ago Replied to a topic by sentinelK › Local LLM › lama.cpp 目前有重大性能 bug： checkpoint 的巡回逻辑对于混合模型（比如 qwen3.6-27B）无效，从而导致大概率每次对话都要 prefill 全文，严重拖慢速度 |
@sentinelK 是的，我的配置和你是一样的，我是主机 ubuntu 跑 ai 和服务，虚拟机 windows ，windows 直通 cpu 核显平时用用，也很流畅。
19h 20m ago Replied to a topic by sentinelK › Local LLM › lama.cpp 目前有重大性能 bug： checkpoint 的巡回逻辑对于混合模型（比如 qwen3.6-27B）无效，从而导致大概率每次对话都要 prefill 全文，严重拖慢速度 |
@sentinelK 你都跑 ai 了，还用 windows 吗？ hhh ，不是强词夺理哈，确实是很奇怪的选择。
19h 42m ago Replied to a topic by sentinelK › Local LLM › lama.cpp 目前有重大性能 bug： checkpoint 的巡回逻辑对于混合模型（比如 qwen3.6-27B）无效，从而导致大概率每次对话都要 prefill 全文，严重拖慢速度 |
都用 NVIDIA RTX PRO 6000 Blackwell 了，还用什么 llama.cpp...
个人认为 llama.cpp 就是跑在洋垃圾显卡的聊天工具...跑 agent 什么的老老实实 vllm
个人认为 llama.cpp 就是跑在洋垃圾显卡的聊天工具...跑 agent 什么的老老实实 vllm
2 days ago Replied to a topic by 409164 › 互联网 › hostloc 关了？ |
唉，我刚发现，感觉是完了
3 days ago Replied to a topic by zzutmebwd › Local LLM › 关于低算力 gpu 推理时 prefill 在总时长中的占比问题 |
@coefu 是的 decode 基本不变，prefill 线性降低，所以上下文越长首词越慢，上文数据是 100k 左右上下文时的，满 256k 时就更夸张了。
3 days ago Replied to a topic by zzutmebwd › Local LLM › 关于低算力 gpu 推理时 prefill 在总时长中的占比问题 |
@Puteulanus 我的命中率是正常的 一直在九十以上
3 days ago Replied to a topic by mingtdlb › Local LLM › 现在大模型主流都用哪些 nVidia GPU？ |
8000 刀才是合理价，我 6 万买的都嫌贵。
@xiaomushen
@xiaomushen
3 days ago Replied to a topic by mingtdlb › Local LLM › 现在大模型主流都用哪些 nVidia GPU？ |
@xiaomushen 10 万了哥，现在买不划算了
Select Language