004-3-Optimizer优化器
发布时间：2020-12-14 04:17:56 所属栏目：大数据 来源：网络整理
导读：? 如何选择优化算法 如果数据是稀疏的，就用自适用方法，即 Adagrad,Adadelta,RMSprop,Adam。 RMSprop,Adam 在很多情况下的效果是相似的。 Adam 就是在 RMSprop 的基础上加了 bias-correction 和 momentum， 随着梯度变的稀疏，Adam 比 RMSprop 效果会好。
|
?
如何选择优化算法 如果数据是稀疏的，就用自适用方法，即 Adagrad,Adadelta,RMSprop,Adam。 RMSprop,Adam 在很多情况下的效果是相似的。 Adam 就是在 RMSprop 的基础上加了 bias-correction 和 momentum， 随着梯度变的稀疏，Adam 比 RMSprop 效果会好。 整体来讲，Adam 是最好的选择。 很多论文里都会用 SGD，没有 momentum 等。SGD 虽然能达到极小值，但是比其它算法用的时间长，而且可能会被困在鞍点。 如果需要更快的收敛，或者是训练更深更复杂的神经网络，需要用一种自适应的算法。 ? 大牛的文章: https://www.cnblogs.com/guoyaohua/p/8542554.html （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
