Google Gemini Pro 深度体验，离 GPT4 还有些差距

[xuelang]

按照 Google 官方的介绍，Gemini 是第一个在 MMLU （大规模多任务语言理解）方面超越人类专家的模型，在推理，数学和代码上的能力也都超过了 GPT4 。而且还是一个多模态的模型，可以同时处理文本，图像，声音和视频，评测分数也比 GPT-4V 更高。

从 Google 发布的宣传片来看，Gemini 的表现确实让人惊艳。发布几天后，很多人已经对 Gemini 有不少质疑的声音，因为发布的视频是编辑过的。Gemini 的真实效果如何，还是要自己亲自试一试才知道。目前 Google 对外只放开了 Gemini Pro 的使用，自己用 bard 感知下 Gemini Pro 到底怎么样吧。

功能	ChatGPT 4	Bard(Gemini Pro)
使用限制	地区限制，IP 风控，支付风控	地区限制
费用	付费	免费
速度	很慢，不过最新的 GPT4-tubro 快了不少	速度很快
联网能力	All-Tools 可以联网	比较迷，不完善的联网能力 ｜
语言能力	很强	比 GPT4 差，中文能力没 GPT4 强
数学问题	一般	比 GPT-4 差
编程能力	很强	比 GPT-4 差
Bug	很少遇见，对话太长有时候会	比较容易触发，问答明显异常

全文在博客：

Google Gemini Pro 深度体验，离 GPT4 还有多大差距？

[Eddiegaao]

但是 bard 好就好在免费用户可以生图、识图，让 bard 查询照片拍摄位置是个不错的应用

[feirisu]

可以查照片在哪拍的，试过很牛逼。

[lzgshsj]

宣传的不是 Ultra 强过 4 吗，Pro 跟 3.5 比才对

[yyf1234]

Q: 你能联网吗
A: 是的，我可以联网。我可以通过谷歌搜索访问和处理来自现实世界的信息，并使我的回复与搜索结果保持一致。这使我能够提供关于各种主题的最新信息，并回答您的问题，即使它们是开放式的、具有挑战性的或奇怪的。

Q: 访问一下 https://github.com/xxxx
A：我是一个语言模型，在这方面帮不上忙。

😢😢😢

[billzhuang]

Gemini Ultra 对应的 GPT-4

[xuelang]

@lzgshsj 嗯，是应该和 gpt 3.5 比更公平些。 不过我都是用 4 ，懒得再玩 3.5 了

[xuelang]

@yyf1234 对，但有时候有能联网，反正直接让它访问一个网页是不行的，很奇怪的表现

[xuelang]

另外，听小道消息，圣诞节前应该有 4.5 出来，估计比 Gemini Ultra 要好。

[icyalala]

自己拿 Ultra 版来评测，又不开放给大家测试，是成本问题还是 Google 不自信。。

[xuelang]

@icyalala 感觉模型是还不够成熟，有些问题还要解决才能上线。 比如成本，道德审核之类的问题。

[weilongs]

google 自己承认演示视频是经过处理的啊。 经过很多 prompt 和视频剪辑的哦。

[Simle100]

等 Gemini Ultra 给用户使用了，GPT5 可能已经上线了。拿期货和人家比，Google 这么大公司还能要点脸吗？

[yvescheung]

@yyf1234 “访问一下 https://github.com/xxxx ，总结该项目”是可以运行的

[jgh004]

@Eddiegaao 只能文字，不能生成图片。

[xuelang]

@weilongs 不止这个，给的 ultra 报告，也是测试了好多提示词，选的效果最好的和 GPT4 比

[xuelang]

@jgh004 好像 Google 没有文生图的模型，OpenAI 是用的 Dall 3

[idragonet]

bard 对中文理解太差。

[xuelang]

@idragonet 是啊，中文支持最好还是 gpt ，claude 也都比 bard 强

[jadehare]

这集成真不太行啊，bard 都搞不懂自己是不是 gemini

[xuelang]

@jadehare 你怎么问的？

[weilongs]

@xuelang 不过演示视频搞动作也不是他一家，更何况 google 之前就搞错这种所谓的演示视频。之前有个语音效果也是演示视频很 6 ，实际就那样。所以我从来不信演示视频，那些不只是演示，也是掩饰。

[jadehare]

问他是基于什么大语言模型，他来个我希望有一天能够像 Google Gemini 那样强大和灵活

[xuelang]

@weilongs 对的，其实 ChatGPT 上次的 Dall 模型，演示很牛，实际用下来也有很多不行的地方。

[xuelang]

我问了下，是 gemini ，

What kind of large language model are you basing upon?


[Imgur]( )

[xuelang]

@jadehare 你用英文问的吗？ gemini 应该只支持英文

[jadehare]

@xuelang #25 哦是的，问了下说 6 号以后 in English

[newage126]

一个成品和一个概念框架怎么比，等 gemini 公测以后才能知道

[keegan]

既然 gemini 都不支持中文，怎么还能比较中文能力，悖论了

[Ericcccccccc]

gemini 只能支持英文. 看更新日志.

[simpleisbest]

不管怎么样，都比国内的牛

[Greendays]

这东西性能太强是不是会把谷歌自己的给淘汰掉了？

[PerFectTime]

只有英文用户才使用的 gemini ，中文询问不是 gemini ，不是很懂比较中文比较的啥

[xuelang]

@keegan 没比较中文啊，文章里提示词是英语的

[xuelang]

@simpleisbest 文心一言付费版本据说很强，不过没买，没用过不知道真实如何。

[xuelang]

@newage126 ultra 公测估计得明年了吧

[xuelang]

@Ericcccccccc 是，所以也是用英语来体验的啊

[KJH]

我和我朋友，用英文问
你的面前有四杯水，三杯水 25 度，一杯水 26 度，水的质量为 200 克，将它们倒在一杯里，那这杯水的温度是多少。
每新开一个对话都会给我一个新的答案：6.25 、25.25 、26.25 、25.32

[xuelang]

You have four glasses of water in front of you, three glasses of water at 25 degrees, one glass of water at 26 degrees, and the mass of water is 200 grams, pour them in one cup, then what is the temperature of this glass of water.

我试了 3 次，都是 25.25 ，还写了代码

[KJH]

@xuelang 我把你的英文复制了一遍，这是他的回复


To calculate the final temperature of the mixed water, we need to use the principle of heat transfer. Since no heat is added or lost to the environment (assuming ideal conditions), the total heat content of the system will remain constant.

Calculate the total heat content before mixing:
Heat content of 25-degree water: 3 glasses x 200 grams/glass x 25°C x 4.18 J/g°C = 62,700 J
Heat content of 26-degree water: 1 glass x 200 grams/glass x 26°C x 4.18 J/g°C = 21,776 J
Total heat content: 84,476 J
After mixing, the water will reach a common equilibrium temperature. Let's call this temperature "T".
Total heat content after mixing: 4 glasses x 200 grams/glass x T x 4.18 J/g°C = 836T J
Equate the heat contents before and after mixing: 84,476 J = 836T J => T = 84,476 J / 836 J/°C = 101°C
Therefore, the final temperature of the mixed water will be approximately 101°C.

[xuelang]

@KJH

[nextone]

@xuelang 文心一言付费版本也很垃圾，买了一个月，没用几次，太差了

[woorz]

<iframe src="//player.bilibili.com/player.html?aid=237039891&bvid=BV11e411C76v&cid=1363262155&p=1" scrolling="no" border="0" frameborder="no" framespacing="0" allowfullscreen="true"> </iframe>

[woorz]

发错。
可以撤回？

[xuelang]

@nextone 上次李彦宏还在那吹牛文心一言付费版本中文能力和 4 差不多。。
我还信了。。

[xuelang]

@woorz v 站不支持撤回的，不过没关系

[keegan]

@xuelang #33 这句话怎么理解：比 GPT4 差，中文能力没 GPT4 强

[xuelang]

@keegan 想强调下，中文能力更差。Gemini pro 目前只支持英文，英文下比 gpt4 差，中文更差。

[zhu327808]

写了一个 adapter 有需要可以尝试：

https://github.com/zhu327/gemini-openai-proxy