$V2EX
Solana
Give SOL to Copy Address
使用 SOL 向 rmrf 打赏,数额会 100% 进入 rmrf 的钱包。
 rmrf's recent timeline updates
rmrf

rmrf

V2EX member #62533, joined on 2014-05-13 11:15:57 +08:00
Today's activity rank 27289
Ladybird 浏览器宣布采用 Rust 语言逐步替代原有 C++ 代码
  •  1   
    浏览器  •  rmrf  •  Feb 28  •  Lastly replied by willm
    18
    买了 Qoder ,此前公司有提供来着
    程序员  •  rmrf  •  Mar 2  •  Lastly replied by jettzhang
    16
    看完小孩 2025 EWC 街霸六 卫冕冠军,很有感触
    游戏  •  rmrf  •  Aug 26, 2025  •  Lastly replied by chixinzei
    47
    买了个马鞍椅,现在对正确坐姿有了新的看法
    健康  •  rmrf  •  Aug 16, 2025  •  Lastly replied by rmrf
    8
    给 Ladybird 浏览器捐赠了 10 美元
    浏览器  •  rmrf  •  Aug 5, 2025  •  Lastly replied by ThinkCat
    41
    公司下午放假了
    上海  •  rmrf  •  Jul 31, 2025  •  Lastly replied by coryxu
    18
    推荐个游戏 Neva
    游戏  •  rmrf  •  Jun 29, 2025  •  Lastly replied by rmrf
    3
    rmrf's recent replies
    @lilGO 哈哈哈,这个这个时候才能看懂的笑话。
    @likooo125802023 韩国卖内存颗粒的厂商赚翻了
    Feb 26
    Replied to a topic by fingerxie 程序员 阿里云 CodingPlan 计划太坑了吧
    火山和阿里云都买了,火山多一天,是 29 天 [哈哈]
    很赞! 我研究一下。

    但是 https://timem.ai/ 网站证书不太对,打开之后浏览器会告警,建议更新一下
    不过现在想想,能早点儿换,总比后面再换的好。
    @hopeofsteadylife 。。。其实我这里 db 就是简单的 数据库 (database) 的意思,就是:比数据库检索数据还快。
    @Geon97 还在替换代码,估计要更久了
    @restkhz 是的,非常赞同,这个技术绝对是 2026 年非常非常有重量的,非常有想象力的做法。

    想想一下,那些对速度有非常高要求的垂直场景:高速行驶的汽车、具身机器人的大脑的部分功能(或者小脑)

    另外据我了解,中国的公司因为 llm 训练 gpu 技术不行,其实一直都在押宝 ASIC 芯片路线的。
    今天看到 https://www.anuragk.com/blog/posts/Taalas.html 这里讲的:技术原理

    1. 固定功能 ASIC 架构
    Taalas 的芯片是一种固定功能 ASIC (专用集成电路),类似于 CD-ROM 、游戏卡带或印刷书籍——只能运行一个特定模型,无法重写。
    他们将 Llama 3.1 的 32 层网络结构直接蚀刻到硅片上,模型权重成为物理晶体管,而非存储在内存中的数据。

    2. 突破"内存墙"
    传统 GPU 的瓶颈:GPU 需要从 VRAM/HBM 反复读取每一层的权重矩阵,进行计算后将中间结果存回内存。这种频繁的内存读写造成延迟和能耗(即"内存墙"或冯·诺依曼瓶颈)。
    Taalas 的方案:输入向量直接流入第一层物理晶体管,通过他们发明的"魔法乘法器"(单个晶体管实现 4-bit 数据存储和乘法运算),电信号通过物理导线直接流入第二层,依此类推,直到生成最终 token 。无需外部内存来回搬运数据。

    3. 芯片制造策略
    他们设计了带有大规模通用逻辑门和晶体管网格的基础芯片。
    针对特定模型,只需定制最上面的两层光罩即可,无需从头制造芯片。
    为 Llama 3.1 8B 开发专用芯片仅用了 2 个月——在 AI 领域虽显漫长,但在定制芯片领域已属极快。

    4. 内存使用
    不使用外部 DRAM/HBM ,但包含少量片上 SRAM:
    存储 KV Cache (对话的上下文窗口)
    支持 LoRA 适配器进行微调
    @catazshadow 这才开始,后面慢慢优化起来,很有想象力啊。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2681 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 14:48 · PVG 22:48 · LAX 07:48 · JFK 10:48
    ♥ Do have faith in what you're doing.