这是一个创建于 148 天前的主题，其中的信息可能已经有所发展或是发生改变。
早晨看到 Gemma2 的跑分就觉得不对，里面 llama3 那个 666 的 mmlu 太标志性了，抽空把这两个都跑了一遍 GSM-8K
谷歌这宣传资料很明显是用自家微调过的模型打 llama3 的基础模型，脸都不要了
全部 bench 都是原汁原味的 pytorch 运行，
gemma2 发了个 f32 的 base 我还用 f32 跑的，慢的想死
谷歌这宣传资料很明显是用自家微调过的模型打 llama3 的基础模型，脸都不要了
全部 bench 都是原汁原味的 pytorch 运行，
gemma2 发了个 f32 的 base 我还用 f32 跑的，慢的想死
第 1 条附言 · 148 天前
https://storage.googleapis.com/deepmind-media/gemma/gemma-2-report.pdf
有人跟我说谷歌在 report 里面有说是不是预训练模型成绩，我有点困了没找到，请诸君看一下吧
有人跟我说谷歌在 report 里面有说是不是预训练模型成绩，我有点困了没找到，请诸君看一下吧
8 条回复 • 2024-07-28 16:14:55 +08:00
 |
1
luckykong 148 天前
厉害，这事做的，都不知道该如何评价了
|
 |
2
hantianyang 148 天前
nb
|
 |
3
Donaldo 148 天前
大厂嘛，不稀奇。。
|
 |
4
kaichen 147 天前
他这里有 5-shot 的标注耶，应该是没公开 prompt 的情况吧
|
 |
6
NoOneNoBody 138 天前
9 天前没热度的帖子，怎么还置顶起来了？
|
 |
7
boboliu OP @NoOneNoBody 因为看到了 /t/1055707 ，突然想起来我也想吐槽谷歌，顺手顶一下
|
 |
8
yinmin 118 天前
Gemma2 9B 的翻译、文字总结不错。毕竟只有 9B ，STEM 类的肯定不行。Gemma2 9B 对硬件要求也不高，能部署在个人 PC 上。
在不连 Internet 的内网自己架一个私人 AI ，装上 Gemma2 9B 和 Qwen2 7B 处理些文字类、翻译类的工作，还是蛮好的。 |
Select Language