抖音特效的底层技术是什么啊

2023-09-05 22:04:00 +08:00
 ns2250225

最近在学习计算机视觉相关知识,对抖音特效比较感兴趣,比如自动带墨镜特效等等,请问底层相关技术是什么啊,有什么好的学习建议,求指导

2741 次点击
所在节点    程序员
13 条回复
owen800q
2023-09-05 22:27:38 +08:00
别想那么复杂,本质上和游戏特效一样,AE 做了个动画,在 app 播放,你找个美工帮你画,你也可以做出来
GeekGao
2023-09-05 22:29:45 +08:00
ARCore 、AIKit 类似的技术
ns2250225
2023-09-05 22:30:11 +08:00
@owen800q 可是比如戴墨镜特效,有墨镜图片,还要用技术定位和附加上去呀
GeekGao
2023-09-05 22:30:28 +08:00
打错,ARCore 、ARKit
ns2250225
2023-09-05 22:43:07 +08:00
@GeekGao 你好呀,请问有没有关于 AR 相关的教程推荐一下啊,这些资料好像很少
Cellinlab
2023-09-05 22:51:41 +08:00
关键词 opencv ffmpeg filter shader
gzlock
2023-09-05 22:53:07 +08:00
https://github.com/CMU-Perceptual-Computing-Lab/openpose
使用 openpose 识别画面,当识别出双眼时跟踪眼睛坐标就可以叠加墨镜图像
嘴唇的颜色叠加同理
瘦脸,就是把视频帧的脸部轮廓范围缩小
缩头,拉腿跟瘦脸同理
以上缺点是当某一帧识别不到对应部位时,都会临时失效
虽然抖音这些大公司不一定会用 openpose ,但是可以反推出抖音也是类似的原理,因为抖音视频里都会有上面这个缺点。
ns2250225
2023-09-05 22:56:58 +08:00
我找到一个做 webAR 的公司: https://www.8thwall.com/blog/post/41172151240/introducing-8th-wall-face-effects ,就是想实现里面例子的效果
ns2250225
2023-09-05 23:00:09 +08:00
@Cellinlab 感谢推荐,感觉还是偏向 AR 方向会多一些
shui14
2023-09-05 23:11:49 +08:00
web 的话,效果差强人意,方案也多,这是目前人多的,但是不是开箱即用,要自己写代码
https://github.com/pmndrs/react-xr
ns2250225
2023-09-05 23:53:25 +08:00
@shui14 感谢,主要我只会 web ,不会移动端的,所以只看这些,你这个接近我的需求了,我去好好研究一下
Helsing
2023-09-06 09:15:55 +08:00
说到底还是图像识别和处理,去了解一下商汤的商用 SDK 方案就知道了
MENGKE
2023-09-06 09:55:43 +08:00
正在开发一款 web 的特效视频播放器,过一段时间会开源

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/971215

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX