sentinelK's recent timeline updates
@kop1989 @kop1989smurf
三转
May 31, 2023
我本将心向明月,奈何明月照沟渠。
May 30, 2023
sentinelK

sentinelK

V2EX member #631792, joined on 2023-05-30 20:41:02 +08:00
Today's activity rank 12652
kop1989的三转小号
sentinelK's recent replies
mlx 的 qwen3.6-35B-A3B 试试看
btw:

如果只是想了解 Agent 的理念,我觉得这个视频的信息量已经够了: https://www.bilibili.com/video/BV1dpQTB3EXg?spm_id_from=333.788.videopod.sections&vd_source=0ef6494d0ac82c1df8c1a6cc5e8ef08c
@newtype0092 是的,毕竟 LLM 的本质就是统计学概率续写。各种工程化只是在利用目前 LLM 模型算法的甜点,争取能够提升最终答案落在全局最佳的比例。

而且 Agent 底层理念就在于,我承担返工的风险,烧更多的 token ,但是要一次性(或者说非人工干预下)成功。

高效利用 token 的理念则恰恰相反。
对了,还忘了一点,到了生产力阶段,家庭用显卡就不现实了。

因为生产力显卡的噪音非常大。
@stimw 个人场景最大的优势是不会暴露隐私。而且有去掉拒绝模块的模型可用(可以忽略道德、法律、伦理等因素)。
在显存够用的前提下,显卡的解码能力远大于统一内存方案(不管是 GB10 、AMD MAX+395 ,还是 mac )
反之,统一内存方案更容易达到更大的内存级别(能跑更大参数的模型)


所以,如果你要跑快,只能选显卡。
如果你要选能用,可扩展性,尝试更多模型,只能选统一内存。(为了大参数换显卡,基本上你整台 PC 也都要换)
Trae 的工程化就是有点问题。

可以用 claude code (可以切自定义的 API ,只要支持 anthropic 格式)或者 openCode 再试试。

vscode 还有 Cline 等其他的第三方工程化插件可以实践。
因为 LLM 的工程实践有个自证陷阱。

你没法证明你的 Agent 流程,或者说工程化产品相比裸模型/竞品是更优、更有效的。
所有人都在吹自己对于 LLM 落地的思路有多么高大上。但聊到实际产出又都阳痿了,因为他们没法对实际产出负责。

但是有一些思想还是有一定的启发作用。

比如任务拆分,利用的就是 LLM 对于复杂度 1*N 的任务执行效果比复杂度 N 的效果好的特性。
比如多 Agent 互相监督,利用的是 LLM 注意力机制有限的限制,通过多个 LLM 推理进程左右互搏来实现更好的效果。


剩下的一些纯 marketing 角度的概念,笑笑就好。
@matafu 确实,一边作者强调 memery 只有 2200 字符长度。hermes agent 这边随便什么垃圾信息都 memery update ,直到装满。
看了下这个“自我进化 skill”,这有点太损失稳定性了吧,他会让 hermes 去改自己的代码。
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1003 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 23ms · UTC 18:14 · PVG 02:14 · LAX 11:14 · JFK 14:14
♥ Do have faith in what you're doing.