根据电影某一帧,匹配到某个电影。

2019-11-16 13:56:52 +08:00
 xiatong

今天看到一个电影画面,想找到是哪部电影,好困难。想想否做一个小公举。 需求:根据某一帧(有可能某一帧的一部分)来在电影库中匹配电影。 解决思路:将图片按照帧拆分,保存特征信息。 难点: 1.需要庞大的电影特征库支持。 2.在大量数据中查询 3.解析大量电影,提取特征

大佬们有什么想法吗?

15670 次点击
所在节点    Java
91 条回复
neroxps
2019-11-16 14:28:09 +08:00
@niubee1 #5 我估计几个亿干不了这个事~
snoopygao
2019-11-16 14:28:46 +08:00
谷歌已经在做了,只要你搜某一场景的描述,会有视频列出来,~但是,这都是人工去做的,worker 要看视频,选择合适的描述语言
ArtIsPatrick
2019-11-16 14:30:27 +08:00
记得亚马逊 firefly 可以识别正在播放的电影,然而。。
chiu
2019-11-16 14:31:00 +08:00
B 站老凉人力干这种事,二次元领域
imn1
2019-11-16 14:33:02 +08:00
@xiatong
这样说吧

方式一,只是为了结果
把手上的视频资源,按每 n 秒截取,保存为样本图片库,然后测试帧用 ahash/phash 之类就能达成

方式二,按#9 所说的,分析帧中的特征,人和物,然后在相关电影库匹配出现的人与物

显然方式二更有技术含量,而且可以扩展到更多的场合应用,或者说“更 AI 一些”,但这个库太难建了
xiatong
2019-11-16 14:34:44 +08:00
@chiu 前面有推荐识别动漫的网站。
xiatong
2019-11-16 14:36:00 +08:00
@xiatong 是的,方式二可以过滤掉大部分需要全库扫描的查询。
imn1
2019-11-16 14:37:11 +08:00
@blackwolf
见楼上,方式一是比较简单的,但技术意义不及方式二
Kagari
2019-11-16 14:40:47 +08:00
维度高一时爽,检索火葬场
superrichman
2019-11-16 14:43:17 +08:00
首先你要弄到合法的电影版权
blackwolf
2019-11-16 14:43:46 +08:00
@imn1 如果在目前的框架内,用足够的资源的实现,也是很有意义的,而且大量的数据,需要高度并行,能在大规模的集群上高效地跑起来就很不错了。第二种方法分析特征、人和物看起来更智能一些,但是如果没有有效实现的话,虽然看着很有技术意义,但是技术上还是等于 0。
blackwolf
2019-11-16 14:45:37 +08:00
@superrichman 如果匿名黑客干这些事情,最后发布已经训练好的网络,完全可以绕开版权问题。当然,也可以自己搞,匿名发布。
eason1874
2019-11-16 14:46:34 +08:00
有好几次人家发一小段视频给我,让我帮忙找找是什么电影,我快进看完然后截我认为的关键帧去进行图片搜索,都搜到了电影介绍。别人问我怎么知道截哪些画面,我说不出来,我感觉有规律但是我不知道规律是什么,只能用直觉来解释。
cest
2019-11-16 14:49:09 +08:00
@blackwolf #31 方式二可以骗好几年饭,resume 还能吹下,跳槽後就成其他贴子里无技术主管
superrichman
2019-11-16 14:50:23 +08:00
@blackwolf 黑客才不会花时间干这么无聊的事...
aogu555
2019-11-16 14:52:59 +08:00
其实有没有想过做有偿悬赏,网友的力量无穷大,特别是关于找片这
blackwolf
2019-11-16 14:54:14 +08:00
@imn1 机器学习跟方法一还是不同的,你这里还需要存一个 phash 库,我的意思是直接把帧的图片直接归类到电影里面去,属于 classification 问题。
longkas
2019-11-16 14:56:19 +08:00
为了保证结果准确,建库大而全;为了保证识别速度,先用图像识别物体分割匹配,再用图像色块匹配。假设电影是主流电影,单是国内票房数的过来的,加上其他票房不突出但是出名的比如独立电影节获奖金酸梅获奖,这样归纳一年产出的有名有姓的电影也是百部起步。另外,每部电影可能有多个版本的,剧场版导演剪辑版终极版未删减版未分级版加长版,也就是说片库的名单本身都很困难。片库从何而来,就算给出名单,视频资源去哪获取,你不可能联系各大电影公司给你吧,去网站爬取如何匹配电影,如何下载,如何区分电影版本,是非常复杂的。假设片库真的建好了,物体识别门槛也是很高的,可以查下各大 AI 平台的计价,就算一秒一张图,一部电影视频也需要几元钱,如果你不用商业而用开源,可能需要强力的计算资源,其实算下来和用 api 是差不多的。在建库和分析的过程中,视频和截图肯定是用完就删因为如果全存下来是 pb 级别以上的,也意味着你的算法错了就要重新下载。总之问题相当复杂琐碎,比如你删除几十部电影的图片就算用 rm rf *都是半天,执行起来不可能的,所以还是打消念头试试谷搜索引擎图像搜索吧,虽然搜出来的结果并无卵用。 本人搞过电影直播间深有体会,做过电影下载,匹配字幕,结尾分析,鉴黄,无聊的人可以来玩 https://live.bilibili.com/7101720
imn1
2019-11-16 14:56:27 +08:00
@blackwolf
你说的对,我#13 说了,现实中图像匹配更可行

特征分析网上所见全是手工训练,目前网上能找到已完成的特征库,只有一些名车、动物、建筑(外观)……之类
明星库都没有,因为这个涉及隐私,即使有人做了也不能发布。有一些人面库,但那应该是经本人同意的
feast
2019-11-16 14:56:50 +08:00
这种东西静态图片已经实现了,不过对视频来说还不可能,数据量太大,况且,好好的做 AI 骗钱不好么,真正的需求要实现太困难了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/620175

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX