这是一个创建于 32 天前的主题，其中的信息可能已经有所发展或是发生改变。
groq 上 oss20b 近 6000token 每秒的输出速度
已经是量变引起质变了
快了将近 100 倍
 |
1
iwdmb 32 天前
|
|
2
iwdmb 32 天前
https://gpt-oss.com/
官方测试渠道 |
 |
3
YsHaNg 32 天前
可能要 hopper 以上更新架构的加速器 垃圾佬平台不如 qwen3:30b 上下文预分配内存以及 offload 效率很低
|
 |
5
jianyang 32 天前
gpt-oss 120b 推理加结果，token 吐字快到离谱
|
 |
6
xieqiqiang00 OP groq 我还看到有超过一万 token 每秒的
|
|
7
xieqiqiang00 OP 120b 的版本在英伟达官方的数据里甚至能跑到 2 万 token 每秒每卡
|
Select Language