小模型可以在本地迭代变得越来越懂用户嘛

21 天前
 sitdownkevin

非 AI 从业者,想到一个问题,不知道有没有可行性

在用户端运行一个小模型,随着用户与小模型的交互越来越多,能否积累一些个性化的用户数据,利用这些数据让小模型在用户端自我迭代,变得越来越懂用户?

小模型完全离线运行,确保了隐私性

现在的算力能做到这样嘛?

2010 次点击
所在节点    奇思妙想
18 条回复
LuckyLauncher
21 天前
目前来看端侧的算力还不足以去 finetune 一个小模型
sitdownkevin
21 天前
@LuckyLauncher 在可见的未来内,可以看到端侧的算力提升到这种程度嘛?
qiangduan
21 天前
最新的天玑 9400 ppt 上已经宣称支持手机侧 LoRA 微调模型了。。早晚的事情
LuckyLauncher
21 天前
@sitdownkevin #2 当然可以,甚至不会太久,但是能不能达到效果还不好说。毕竟这一波的 AI 是通过算力和数据堆起来的。
shinsekai
21 天前
没必要手机端训练啊,手机收集的数据定期发给电脑训练好后再发回手机
LuckyLauncher
21 天前
@sitdownkevin #2 甚至还会出现一个中间态,类似于 NAS 这种的数据和算法私有部署和训练方案,比如最近发布的 m4 mac mini ,性能远强于手机这类端侧设备,这类设备负责收集端侧的数据和微调模型,然后将训练好的模型再同步到对应的端侧,这可能比直接在端侧上训练来的更早
andyC
21 天前
小模型没有可用性, 现在的 AI 是基于大模型的数据量和算力实现的伪智能
cat
21 天前
@LuckyLauncher 家庭/企业内部的 AI 中枢吗,感觉很快就会来临
LuckyLauncher
21 天前
@cat #8 大概就是这个意思,但是我对目前小模型的实用性持怀疑态度,Apple Intelligence 的端侧智能貌似也没有什么实用的场景
tairan2006
21 天前
可以的,小米 15 发布会的时候不就说是完全本地的
tommyZZM
21 天前
现在的 AI 有一个问题就是能耗比较高,能量利用效率低下,人脑的功率才十几几十瓦,降低能耗应该是下一个阶段的发展方向
liu731
21 天前
并不会。但是相较于云端 AI ,本地 AI 对历史消息(记忆)的存储更具优势。
sitdownkevin
20 天前
@LuckyLauncher 对 主要是好奇需要收集多少数量的用户数据才能让小模型朝着更好用的方向迭代
LuckyLauncher
20 天前
@sitdownkevin #13 主要看端侧收集的是哪方面的数据,比如手机可能更多的是你的使用数据,要是能拿到你用 APP 的数据,那数据量其实是非常庞大的。最起码在中国,用手机可以解决你的衣食住行,你的社交、信息的输入也大多来自于手机,这数据肯定是足够了的,毕竟这也只是个小模型
viber
20 天前
@tairan2006 好像只有苹果说自己的 AI 是本地部署吧;搜了公关稿 小米说的是把记录保存在本地🤣
GeekGao
19 天前
1 楼说的很明白了。
补充: 即便端侧算力很强,但你产生的那点用户数据,如果不做监督学习(主要为了正确的正则化、处理文本并输出整理成可以被微调的样本),那对模型的提升也近乎于 0
ivyliner
13 天前
@sitdownkevin, 我对这个方向挺感兴趣的, 其实目前苹果就有这方面的技术, 但是我仔细想想好像引用常见也不多或者特别明确. 你有什么使用的场景了可以分享一下吗 ?
wudaye
13 天前
有没有多模态本地大模型,能通过输入我本地的视频和图片学习我的癖好==

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1085323

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX