我把 Gemini 2.0 实时视频语音对话功能添加到了手机 APP 中

22 天前
smalltong02  smalltong02

Gemini 2.0:Google 最新的多模态大模型

Gemini 2.0 是 Google 最新的统一大模型,能够同时处理 文本、音频和视频数据,并支持 音频输出。这意味着你可以通过 摄像头和麦克风,与该模型进行 实时对话

目前,在 GitHub 上可以找到的部署方案大多是针对 PC 端Gemini 2.0 多模态实时交互,而我可能是第一个将这一功能移植到手机端的开发者。不知道是否有朋友感兴趣,想看看它在 移动设备 上的效果?


现有功能

音频交互:通过手机麦克风赋予 Gemini 2.0 听觉能力,实现 实时问答
视觉交互:通过手机摄像头赋予 Gemini 2.0 视觉能力,进行 实时图像分析与交互
联网与代码执行:模型支持 联网查询实时数据代码执行功能,使其更加强大。
免费使用:目前该功能 完全免费,无需额外付费。


功能限制

国内可能无法使用:由于模型依赖 Google 的服务,在中国大陆地区可能无法正常访问。
时长限制:目前 Google 仍在测试该模型,因此对话时长受限:

这是 Google 设定的限制,非技术问题导致。


如果你对这个项目感兴趣,欢迎讨论和交流!

Android 版本https://play.google.com/store/apps/details?id=com.keras.keras_android_chatbot

苹果版本https://apps.apple.com/us/app/keras-chatbot-voice-assistant/id6608969280

2520 次点击
所在节点   程序员  程序员
9 条回复
vfx666
vfx666
22 天前
马克马克
Amanises
Amanises
22 天前
厉害厉害,尝试下🤔
smalltong02
smalltong02
21 天前
请问大家试用过之后有什么反馈吗?

我提供自己的一个测试案例,我复现过 Google 演示中一个非常厉害的功能,我在桌子上放了一个 PC 的头戴式耳机,然后在提问过程中,手机摄像头移动时扫到过这个耳机,在又经过一些问答之后并且摄像头并没有对准桌子和耳机的情况下,我询问是否有看到我的耳机在什么地方,Gemini 2.0 回答耳机在桌子上。
Aka114514
Aka114514
21 天前
想问下开发者,这个软件在 ios 端是不是用连续连续拍照实现视频对话的。手机的快门声一直在响没停过🤦
boshok
boshok
21 天前
安装-卸载。
smalltong02
smalltong02
21 天前
@Aka114514

是的,其实我是调用了 takepicture 功能获取的图像数据,这样省了转换的编码,其实如果获取原始的 pcm 数据流就没这个问题了。我下个版本会进行修复,好像有些国家或地区,在调用拍照的时候必须开启快门声音,为了避免偷拍什么的。请问您的手机是苹果手机还是 ipad? 我的苹果手机没有快门的声音。
smalltong02
smalltong02
21 天前
@boshok

为啥呢,小哥哥。
Aka114514
Aka114514
20 天前
@smalltong02

港版 iphone12pro ios18.3 系统,要是把手机的静音键打开就没有拍照声,不打开的话就没法把铃声调节至 0 就依然会有拍照声。开启静音不影响媒体声音,只是对铃声静音,所以对话声音正常
smalltong02
smalltong02
20 天前
@Aka114514

我已经改了一版捕获摄像头图像帧的方法来处理视频流,这样就没有快门声音了,就是上传发布还需要点时间。你是在国内还是香港使用?可以用 gemini 2.0 进行实时对话吗,我只在加拿大使用过,不知道其它地区使用效果怎么样。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1108261

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX