AR 结合图像风格迁移

[AmiKara]

最近在学习 AR 技术，发现许多 3D 模型映射到屏幕上的时候都会和真实世界的背景有较大的突兀感，我想能不能通过结合风格迁移把真实世界的背景和 3D 模型的风格进行融合。

[Pandroid]

目前风格迁移主要都是照片。视频流实时风格迁移性能太差了

[AmiKara]

@Pandroid 未来 5G 能解决这个问题吗？

[across]

突兀感是来自光照识别（色温方向强度一类）和深度识别吧。
要靠硬件进步了...

[zhangsimon]

为什么会有突兀感呢？
环境光和阴影是主要原因吧，了解下三维渲染用的 HRD 贴图？

[AmiKara]

@across @zhangsimon 是的，环境因素的识别确实是影响 AR 识别，所以我想通过识别环境和 3D 物体的材质来完成生成新的图像。

[Pandroid]

@AmiKara 跟风格迁移算法和硬件算力最相关。
其实 3D 模型与环境融合有很多影响因素，比如与现实世界物体的遮挡关系、模型渲染质量、对于环境光的反射，物体实时阴影等。

推荐一个 AR 相关的 Wiki，非技术内容，我自己搞的： http://iar.design/#/

[AmiKara]

@Pandroid 好的，非常感谢！！