撸猫神器 uIPCat！让闲置手机作为边缘视觉计算终端

背景

本人是一个搞嵌入式软件开发的铲屎官，外出时经常有远程撸猫的需求，之前尝试过各种市面上的网络摄像头，但大部分摄像头画质跟手机的比起来说还是有很大的差距，并且把一个摄像头放在家里也让人没有那么安全感。

现有产品

在一次冲浪过程中发现了有不少让手机充当网络摄像头的 APP ，刚好自己有一台闲置的 iPhone SE1 。试玩了一圈此类 APP ，大部分只能局域网内实时预览，比较成熟商业化的是一个台湾公司做的阿福管家，但在大陆使用延时和稳定性还是比较一般，并且免费使用的限制太多了，最终得到的画面可能还不如原来的网络摄像头。

实现

在各种的限制下，我就尝试自己开发一个，自己没客户端开发背景，自己有过 WebRTC 底层的调试移植开发经历，略懂上层的 JavaScript WebRTC 应用接口的。如果是基于客户端开发，有多个平台需要兼容，这学习成本有点高，搞不来。

于是我选中一个天生为跨平台而生的方案：Web APP

用浏览器去实现在一个 IPCamera 功能对应的技术栈如下：

实时预览：原生支持 WebRTC ，省掉流媒体接口和 P2P ICE 的开发调试
本地存储：基于 IndexedDB 做大容量视频存储
云端储存：很方便实现第三方对象云存储
本地 CV：基于 TensorFlow.js ，在浏览器端就可以实现对象识别录像和报警
端到端加密：借助 URI fragment 特性可实现本地密钥生成，无需经过服务端传输和存储

最终实现效果：https://uipcat.com/

实时视频流预览：

当然，也可以用来摸鱼：

只需要扫码即刻部署：

如何使用

无需注册，在主预览设备打开 https://uipcat.com/，用手机扫码即可作为摄像头节点，保存预览设备跳转到的 URL 作为访问摄像头的唯一权限。

本地 CV

市场上大部分的网络摄像头产品提供了对象侦测功能，但他们的实现基本是需要将图片传到厂家服务端上识别。手机主芯片的算力是远超网络摄像头芯片，所以可以在直接在手机浏览器本地拍对象侦测模型。uIPCat 在本地默认集成了 MediaPipe 的通用对象侦测模型，可以满足绝大部分识别任务，后续开加上自定义模型，部署自己训练的模型，定制识别自己关注的对象。

在对象识别的前置，加了一个画面变化侦测，如有画面变化超过了定义的阈值，才会触发识别处理。

目前开放了绝大部分参数的自定义，后面会简化这个配置。

视频存储

目前默认使用本地存储，数据会被存储在本地浏览器的 IndexedDB ，它本不是完全可靠的存储方案，各浏览器有些许差异。云存储适配了 AList v3 的 API 接口，可以通过 AList 将数据间接存到各个主流的如 S3 等主流储存或云盘方案，支持的存储列表。

HomeKit 支持

通过 go2rtc 开源项目接入 HomeKit 平台，该功能目前正在测试中，后续开放。

隐私安全

对于大部分人来说，隐私安全是一个网络摄像头的重中之重。现有市面上的网络摄像头设备，你的隐私安全大部分是基于你对品牌厂家的信任，从实现的技术角度上说，他们是有权限可以直接访问你的摄像头，更别说大部分厂家提供了云存储直接分析处理识别你图片或视频的服务。

uIPCat 基于 WebRTC 链路本身就是基于 DTLS 和 SRTP 加密标准了，重点在于保障信令的安全。uIPCat 信令采用端到端加密方案，在主预览设备本地生成密钥，加密方法 AES-GCM ，密钥附带到 URI fragment 通过二维码线下传输到摄像头节点，加密后的信令数据通过 MQTT 通道传输。

URI fragment 既上图 # 号后字段，它不会传递给服务器端。

开发计划

接入 Home Assistant ，通过自定义 MQTT 推送对象侦测报警
开放设备接入 SDK ，可自行接入如树莓派、ESP32 等 DIY 设备。
开放摄像头节点 API 能力，作为多模态大模型的前置边缘视觉处理器(正如标题党那样)
自定义模型，提供在线模型训练方法
更多类型的云存储 API 接入