V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  hsfzxjy  ›  全部回复第 36 页 / 共 57 页
回复总数  1127
1 ... 32  33  34  35  36  37  38  39  40  41 ... 57  
html 装 emmet 插件可减少输入
2022-08-08 18:16:43 +08:00
回复了 yunshangdetianya 创建的主题 Go 编程语言 为何从通道取数据顺序是错误的?
因为你多次<-使用的是同一个 buffer ,可能 SaveFile 里 f.Write 还没执行完,Gets 里 resp.Body.Read 就把上一次的内容覆盖了
和 bubbletea 比有什么亮点吗
2022-08-05 19:33:27 +08:00
回复了 samohyes 创建的主题 生活 有感而发,一起旅行是考验男生能否安排好一切的吗?
@samohyes 好吧,这个确实因人而异。。

我之前喜欢一个人出去玩,后来就用一个人旅行的经验去规划两个人的旅行。对方可能中间会提出一点意见,然后我们一起修正这个计划。感觉不管是规划还是旅行,都是很开心的一件事。
2022-08-05 18:17:38 +08:00
回复了 samohyes 创建的主题 生活 有感而发,一起旅行是考验男生能否安排好一切的吗?
好奇楼主如果一个人旅游,会怎么安排呢
2022-08-05 13:10:10 +08:00
回复了 edis0n0 创建的主题 奇思妙想 100%邀请制,人少的社区能做的起来吗?
草榴?
2022-08-03 23:05:05 +08:00
回复了 guotao 创建的主题 程序员 单身🐶的七夕都这么卷了么?
单身狗过啥七夕
2022-08-02 17:07:17 +08:00
回复了 Trc0g 创建的主题 Google Gmail 换新版 UI 了,怪好看的
ctrl+shift+r 一下,就变了
刚看到一脸懵逼,还找了半天前情提要
2022-07-29 23:14:43 +08:00
回复了 0x11901 创建的主题 问与答 请问有没有什么图片可以用来描述 bug
b 站关注 Mastertingus

小心掉 san
2022-07-27 18:53:33 +08:00
回复了 CaptainD 创建的主题 问与答 conda 环境下怎么使用 cuda、cudnn、tf 等环境
建议配 docker ,省心
2022-07-27 13:15:29 +08:00
回复了 godfunc 创建的主题 新手求助 2022 年了, iPhone 怎么装小飞机出国
有没可能楼主用电脑上的 v 站,只是不会搞外区帐号🤔
妙啊
2022-07-24 18:16:02 +08:00
回复了 xxiali 创建的主题 北京 ♥♥♥三里屯两居室寻室友
你是 gg 还是 mm
我来说一个很多人不会注意到的随机性来源:并行化计算和浮点运算造成的不确定性。

首先要知道,IEEE754 浮点数的加法和乘法是不符合结合律的。也就是说在某些情况下 (a+b)+c!=a+(b+c),一个反例是在 64-bit 情况下

1e40+((-1e40)+1e10) == 0.0
(1e40+(-1e40))+1e10 == 1000000000.0

因此,对于同一批浮点数相加,它们加的顺序会影响最终的结果。

其次要知道,GPU 算法通常会将一个问题分为几个子问题,对子问题并行计算,再将子问题的结果汇总为最终的结果。

比如你要用 GPU 计算 3 个浮点数的和,你可以开 3 个线程使用 atomicAdd 把这些数加在结果数上。

atomicAdd 能保证没有 race condition ,但是不能保证加的顺序,你这次跑可能是 (a+b)+c ,下一次就可能是 (b+c)+a 。而根据前一条,浮点数的运算顺序会影响运算结果。因此,你每次跑都有可能得到不一样的结果。

只要你的运算涉及将多路并行的浮点数结果汇总,这种随机性就无可避免,不管你如何固定应用层的随机种子。这种随机性的影响可能很小,但在漫长的训练过程中会不断放大,直到产生肉眼可见的差异。

为了克服这种随机性以得到确定性的结果,有时你需要和运算效率做 trade-off ,即以更慢的但是顺序确定的方式汇总浮点数。这也是 torch.backends.cudnn.deterministic 这个开关的由来。

但需要注意的是,torch.backends.cudnn.deterministic 不能保证完全消除这种不确定性。因为这涉及算法的重新设计,而不像固定一个种子这么简单。如果 cudnn 等库的作者考虑不周,那还是会有这种随机性。
一些 CUDA 运算有随机性,会导致结果不同
2022-07-22 22:52:54 +08:00
回复了 afirefish 创建的主题 程序员 第一款开源、跨平台、高性能的中文编程语言!
前一阵我还在知乎看到真有人在复现 木兰 lang
2022-07-22 18:27:46 +08:00
回复了 smdbh 创建的主题 Ubuntu ubuntu 下有什么虚拟机软件推荐吗
virtualbox
1 ... 32  33  34  35  36  37  38  39  40  41 ... 57  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2595 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 41ms · UTC 03:23 · PVG 11:23 · LAX 20:23 · JFK 23:23
Developed with CodeLauncher
♥ Do have faith in what you're doing.