抖音特效的底层技术是什么啊

[ns2250225]

最近在学习计算机视觉相关知识，对抖音特效比较感兴趣，比如自动带墨镜特效等等，请问底层相关技术是什么啊，有什么好的学习建议，求指导

[owen800q]

别想那么复杂，本质上和游戏特效一样，AE 做了个动画，在 app 播放，你找个美工帮你画，你也可以做出来

[GeekGao]

ARCore 、AIKit 类似的技术

[ns2250225]

@owen800q 可是比如戴墨镜特效，有墨镜图片，还要用技术定位和附加上去呀

[GeekGao]

打错，ARCore 、ARKit

[ns2250225]

@GeekGao 你好呀，请问有没有关于 AR 相关的教程推荐一下啊，这些资料好像很少

[Cellinlab]

关键词 opencv ffmpeg filter shader

[gzlock]

https://github.com/CMU-Perceptual-Computing-Lab/openpose
使用 openpose 识别画面，当识别出双眼时跟踪眼睛坐标就可以叠加墨镜图像
嘴唇的颜色叠加同理
瘦脸，就是把视频帧的脸部轮廓范围缩小
缩头，拉腿跟瘦脸同理
以上缺点是当某一帧识别不到对应部位时，都会临时失效
虽然抖音这些大公司不一定会用 openpose ，但是可以反推出抖音也是类似的原理，因为抖音视频里都会有上面这个缺点。

[ns2250225]

我找到一个做 webAR 的公司： https://www.8thwall.com/blog/post/41172151240/introducing-8th-wall-face-effects ，就是想实现里面例子的效果

[ns2250225]

@Cellinlab 感谢推荐，感觉还是偏向 AR 方向会多一些

[shui14]

web 的话，效果差强人意，方案也多，这是目前人多的，但是不是开箱即用，要自己写代码
https://github.com/pmndrs/react-xr

[ns2250225]

@shui14 感谢，主要我只会 web ，不会移动端的，所以只看这些，你这个接近我的需求了，我去好好研究一下

[Helsing]

说到底还是图像识别和处理，去了解一下商汤的商用 SDK 方案就知道了

[MENGKE]

正在开发一款 web 的特效视频播放器，过一段时间会开源