嵌入式 AI 系统 SDK

[ChristopherY]

求问有没有嵌入式 AI 系统的 SDK 软件模块介绍，主要是如何在 qca 芯片上实现 AI 部署，部署需要哪些软件模块配合？

[ChristopherY]

其实也不只是 qca ，主要是 ai 模型怎么样部署到嵌入式设备上，有哪些成熟的方案吗？

[AFOX]

芯片厂商不是会提供文档吗？

[yplam]

Rockchip 吧，资料相对完善，RKNN

[ChristopherY]

@AFOX 这种芯片是要专门支持 ai 的吗，还是说随便的芯片就可以

[ChristopherY]

@yplam 多谢大佬。话说 rockchip 这套实际性能怎么样啊

[yplam]

@ChristopherY 适合 YOLO 之类的小模型，不适合 llm

[gaobh]

设备接口支持输出数据就行了，ai 方接入数据

[ChristopherY]

@gaobh 这种相当于 AI 模型用服务器部署，设备只负责采集数据与服务端通信就可以了。有成熟的方案吗

[gaobh]

@ChristopherY #8 这还要啥方案，自己数据库存一下数据就行了，至于啥时候用怎么用 ai 说了算，部署个 dify 就完事了，设备就不关心这个了

[ChristopherY]

@yplam 看了一下，这些主要是对应的芯片支持。如果 cpu 没有 npu 模块，对于一些轻量级的网络模型怎么样部署到这种设备上