Google Gemini Pro 深度体验，离 GPT4 还有些差距

[xuelang]

按照 Google 官方的介绍，Gemini 是第一个在 MMLU （大规模多任务语言理解）方面超越人类专家的模型，在推理，数学和代码上的能力也都超过了 GPT4 。而且还是一个多模态的模型，可以同时处理文本，图像，声音和视频，评测分数也比 GPT-4V 更高。

从 Google 发布的宣传片来看，Gemini 的表现确实让人惊艳。发布几天后，很多人已经对 Gemini 有不少质疑的声音，因为发布的视频是编辑过的。Gemini 的真实效果如何，还是要自己亲自试一试才知道。目前 Google 对外只放开了 Gemini Pro 的使用，自己用 bard 感知下 Gemini Pro 到底怎么样吧。

功能	ChatGPT 4	Bard(Gemini Pro)
使用限制	地区限制，IP 风控，支付风控	地区限制
费用	付费	免费
速度	很慢，不过最新的 GPT4-tubro 快了不少	速度很快
联网能力	All-Tools 可以联网	比较迷，不完善的联网能力 ｜
语言能力	很强	比 GPT4 差，中文能力没 GPT4 强
数学问题	一般	比 GPT-4 差
编程能力	很强	比 GPT-4 差
Bug	很少遇见，对话太长有时候会	比较容易触发，问答明显异常

全文在博客：

Google Gemini Pro 深度体验，离 GPT4 还有多大差距？

[Eddiegaao]

但是 bard 好就好在免费用户可以生图、识图，让 bard 查询照片拍摄位置是个不错的应用

[feirisu]

可以查照片在哪拍的，试过很牛逼。

[lzgshsj]

宣传的不是 Ultra 强过 4 吗，Pro 跟 3.5 比才对

[yyf1234]

Q: 你能联网吗
A: 是的，我可以联网。我可以通过谷歌搜索访问和处理来自现实世界的信息，并使我的回复与搜索结果保持一致。这使我能够提供关于各种主题的最新信息，并回答您的问题，即使它们是开放式的、具有挑战性的或奇怪的。

Q: 访问一下 https://github.com/xxxx
A：我是一个语言模型，在这方面帮不上忙。

😢😢😢

[billzhuang]

Gemini Ultra 对应的 GPT-4

[xuelang]

@lzgshsj 嗯，是应该和 gpt 3.5 比更公平些。 不过我都是用 4 ，懒得再玩 3.5 了

[xuelang]

@yyf1234 对，但有时候有能联网，反正直接让它访问一个网页是不行的，很奇怪的表现

[xuelang]

另外，听小道消息，圣诞节前应该有 4.5 出来，估计比 Gemini Ultra 要好。

[icyalala]

自己拿 Ultra 版来评测，又不开放给大家测试，是成本问题还是 Google 不自信。。

[xuelang]

@icyalala 感觉模型是还不够成熟，有些问题还要解决才能上线。 比如成本，道德审核之类的问题。

[weilongs]

google 自己承认演示视频是经过处理的啊。 经过很多 prompt 和视频剪辑的哦。

[Simle100]

等 Gemini Ultra 给用户使用了，GPT5 可能已经上线了。拿期货和人家比，Google 这么大公司还能要点脸吗？

[yvescheung]

@yyf1234 “访问一下 https://github.com/xxxx ，总结该项目”是可以运行的

[jgh004]

@Eddiegaao 只能文字，不能生成图片。

[xuelang]

@weilongs 不止这个，给的 ultra 报告，也是测试了好多提示词，选的效果最好的和 GPT4 比

[xuelang]

@jgh004 好像 Google 没有文生图的模型，OpenAI 是用的 Dall 3

[idragonet]

bard 对中文理解太差。

[xuelang]

@idragonet 是啊，中文支持最好还是 gpt ，claude 也都比 bard 强

[jadehare]

这集成真不太行啊，bard 都搞不懂自己是不是 gemini

[xuelang]

@jadehare 你怎么问的？