用神经网络做预测，训练出来的权值和阈值都是 nan 值，误差越训练越大，求解？

[nixing123]

论文题目选的这方面，自己也的确没有基础，参考了别人的代码，结果就悲剧了 = =
代码和数据，在这里： http://bbs.csdn.net/topics/392171719
请大家帮忙看看，感激不尽！

[Madcrow]

梯度爆炸了吧

[nixing123]

@Madcrow 搜索了一下，梯度爆炸好像是深度神经网络才会出现的，我这个才一个隐层也会炸吗？= =，请问具体怎么解决呢？

[cheroky]

只试过 tensorflow 的，楼主提供代码哪里写了梯度下降,我并没有看懂，是 dw 那几行么。。。还有这种是不应该用 dummy variable ？？把属性拓展到列，是哪个属性就在哪一列标 1。还发现一个问题是楼主应该想训练出那个表上各个属性的权重吧？为啥输入层就俩 w,俩 b

[0asis]

python 的话，有 nan 值可能是因为你数据本来就有 nan，然后在做矩阵计算的时候传染得所有数都变成了 nan

[hu6360567]

昨天新学了个词 过拟合？

[miaoever]

Nan 的话看看迭代的时候数据是不是有除零异常

[clavichord93]

梯度爆炸了。

[yemenchun1]

有没有随机初始化到一个小值啊，有没有矩阵求解时候低秩啊，信息太少不好诊断

[aaronzjw]

numpy 的 nan 会传播的，检查一下开始有没有 nan 吧

[crackhopper]

我看 BP 算法中，对偏置项 b 的更新 db 貌似不应该乘以矩阵吧。直接用 delta 就行了。

[Morriaty]

更新权重的时候，为什么要用`+=`？

还有，你那不是归一化，只能算 CategoricalEncode

[Madcrow]

@nixing123 我也是菜鸟，我看原 bolg 的代码对输入和输出都做了归一化，你的输出没有归一化导致求出的 loss 太大吧

[ipwx]

我建议你用正经的框架写，比如 TensorFlow，而不是 NumPy 手撸，不然浪费你我的时间。

原因是这样的，你作为初学者，写出来的代码，无论是命名方式还是结构性都太差了（和违反 Neural Network 业内的 Best Practice ），懂的人看你的代码就好像 C++ 的老手看初学者仿照谭浩强的教材写出来的代码那么痛苦。

https://www.tensorflow.org

[IC0ZB]

学习率太大了。

[ruoyu0088]

这种数据应该先用 statsmodels 或 sklearn 中的模型试试看。这里有 boston 房价的例子：

http://cs.smith.edu/dftwiki/index.php/Tutorial:_Playing_with_the_Boston_Housing_Data

[ruoyu0088]

对于分类数据你需要进行 one hot 编码，例如 http://blog.csdn.net/bitcarmanlee/article/details/51472816