1
ipwx 2018-06-24 10:42:40 +08:00
看着公式对照 API,可以理解一大部分奇怪的技巧。比如:
为啥用 tf.nn.log_softmax 而不是 tf.log(tf.nn.softmax) ? 因为 exp(x_i)/sum_j(exp(x_j)) 有可能因为 x_i 普遍偏大而 exp 溢出。但 log[exp(x_i)/sum_j(exp(x_j))] = x_i - logsumexp(x),而 logsumexp(x) = x_max + log[sum_j(exp(x_j - x_max))]。这么一变换,所有 exp 项变成 exp(x_j - x_max) 之后,exp 相都小于 1,就不溢出了。 |
2
diggerdu 2018-06-24 11:55:55 +08:00 via iPhone 1
换 pytorch
|
4
eccstartup OP |
5
spark 2018-06-24 15:00:38 +08:00 via iPhone
唯有手熟尔
|
6
ca1123 2018-06-24 15:13:49 +08:00
tensorflow 到底想解决什么问题?
|
7
aREMbosAl 2018-06-24 15:24:44 +08:00
@eccstartup 你是说动态图?我只是单纯感觉 pytorch 文档写的好些,api 清晰些。。如果不能用也只有硬着头皮读 tf 文档了
|