请问: 如何让 chatGPT 总结视频的内容?

2024-02-13 07:40:04 +08:00
Angela2022  Angela2022
发了视频链接给 chatGPT, 返回: 抱歉,我无法访问外部链接或查看特定的在线视频内容

请问: 如何让 chatGPT 总结视频的内容? 谢谢
3771 次点击
所在节点   OpenAI  OpenAI
22 条回复
Nosub
Nosub
2024-02-13 07:58:58 +08:00
提取音频内容,语音识别内容,然后把文字内容喂给它。
Nosub
Nosub
2024-02-13 08:10:14 +08:00
补充一点,如果要一帧一帧的分析视频视频画面以及结合音频应该也是可以的,应该也有很多公司已经在做了,但是你直接丢一个视频外部链接给 ChatGPT ,是不是有点难,试想一个场景,比如一个外链,视频 2 小时,是流媒体,难道要 ChatGPT 在这个网站观看 2 小时,然后再给你结果。
Evergreen
Evergreen
2024-02-13 08:27:47 +08:00
@Nosub 应该不对吧,ai“观看”视频和人类不一样吧,人类需要两小时是因为需要分析视频画面内容,而 ai 处理信息的方法不一样且速度快多了
xyy003
xyy003
2024-02-13 09:03:38 +08:00
可以看看这个项目: https://github.com/disingn/cliptalk
dji38838c
dji38838c
2024-02-13 09:14:05 +08:00
GPTs 里面不就有 Free YouTube Summarizer 吗?
JensenQian
JensenQian
2024-02-13 09:31:17 +08:00
现在好多都是
音频转文字,文字总结就完事
canxin
canxin
2024-02-13 09:43:33 +08:00
大多数应该都是先提取字幕再总结内容吧?语音转文字用的时间可太久了
SillyGod
SillyGod
2024-02-13 10:20:21 +08:00
最简单的是直接识别音频总结
最完整的是音频+视频逐帧分析
callmesmc
callmesmc
2024-02-13 10:26:46 +08:00
总之不管怎么样都必须文字喂给他,有字幕就字幕,没字幕就创造字幕..
vincentqi
vincentqi
2024-02-13 10:40:05 +08:00
https://bibigpt.co/r/VfmiZN
一个链接总结主流音视频文字媒体概要
yanyao233
yanyao233
2024-02-13 11:44:26 +08:00
普遍采用的方案就是音频转文字

逐帧截取也不是不行,但成本太高、耗时太长,不划算
abc500
abc500
2024-02-13 11:46:35 +08:00
poe 上好多个这样的 但现在用不了 不知道为什么 好像不是提取字幕 而是客户评价 我不确定
xyy003
xyy003
2024-02-13 11:52:03 +08:00
@yanyao23 逐帧和视频字幕结合是最好的 嘎嘎准
winterx
winterx
2024-02-13 11:54:24 +08:00
很好奇 B 站的小助手是怎么实现提取这么精准的
smalltong02
smalltong02
2024-02-13 12:11:01 +08:00
gemini 可以处理 2 分钟以内的视频
smalltong02
smalltong02
2024-02-13 12:13:27 +08:00
如果你可以把音频提取出来,也可以试一下 Qwen-Audio-Chat 模型,它可以按照自然语言的要求处理音频,比如列出音频内容的提纲。
Nosub
Nosub
2024-02-13 12:34:30 +08:00
@Evergreen 这里的问题不是查看方式的问题,是爬虫的问题,我特意说了流媒体,就是你不能一次性获取完整的视频,ChatGPT 还没有强大到可以爬取任意视频。
imliukai
imliukai
2024-02-13 12:53:07 +08:00
@dji38838c YouTube 官方提供了视频字幕的接口,所以总结 YouTube 视频会简单很多。
yanyao233
yanyao233
2024-02-13 14:48:04 +08:00
@smalltong02 才知道有这么个模型 看起来有点意思
bugu1986
bugu1986
2024-02-13 20:43:14 +08:00
字幕 https://github.com/buhe/langchain-swift 手机不方便,用 youtubeloader

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1015459

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX