类似 tinyML，做个运行在嵌入式 Linux 的《轻量级的》深度学习系统，有意义吗？

[usb7]

tinyML 这个开放的组织里已经有很多公司了。 https://www.tinyml.org/

我想的这个《轻量级的》深度学习系统包括： = 《轻量级的》深度学习框架，例如：TensorFlow Lite, PyTorch Edge, tinygrade, 等等。 = 从轻量级的深度学习框架一直到 NPU kernel module 的《轻量级》的库，例如：tiny OpenCV 。 = NPU kernel module

tinyML 和我想的这个轻量级的深度学习系统的比较是： = tinyML 基于实时操作系统；轻量级的深度学习系统运行在 Linux （有更多的软件工具）。 = tinyML 运行在 MCU 单片机（例如：400MHz ） + NPU ，轻量级的深度学习系统运行在华为昇腾或其它国产芯片（ arm64 + NPU ）。 = MCU 单片机里的 NPU 计算能力要比华为昇腾里的 NPU 弱不少。

如果 tinyML 有意义，这个轻量级的深度学习系统有存在的意义吗？

[paopjian]

这都是专有领域用的吧,比如摄像头人脸识别 人行识别 车辆检测这种, 需求就是算力低功耗低还要速度快,不然英伟达也不会出 jetson 了

[tap91624]

就是 npu 模块+一些预处理呗

[usb7]

为这个《轻量级的》深度学习系统，可能取个类似 birdbrain 的名字。小鸟的小脑子。

[kneo]

想做就做，不想做就不做。不知道你纠结啥。你是觉得万一没不成功就浪费了自己本来能一夜暴富的才华吗？

[mujia]

如果是 llm 还有搞头，其他的还是算了，都已经很成熟了

[iorilu]

意义不大, 现在都调用 api 的, 为什么要在本地运行

[KaoDiGua33]

@iorilu MCU 端的 tinyML 有安全性、隐私性、省带宽、低延迟、低功耗有点，楼主这个话题，我觉得就是 Ai PC 同概念（一个是服务端、一个是应用端），只不过是 Linux 版本的，主机厂都想搞，能搞好的话，是有前景的，但很难