神经网络 – 张量流中LSTM的正则化

发布时间：2020-12-13 22:54:38 所属栏目：百科来源：网络整理

导读：Tensorflow提供了一个很好的LSTM包装器. rnn_cell.BasicLSTM(num_units,forget_bias=1.0,input_size=None,state_is_tuple=False,activation=tanh) 我想使用正则化,比如L2正则化.但是,我没有直接访问LSTM单元格中使用的不同权重矩阵,所以我不能明确地做类似的

Tensorflow提供了一个很好的LSTM包装器.

rnn_cell.BasicLSTM(num_units,forget_bias=1.0,input_size=None,state_is_tuple=False,activation=tanh)

我想使用正则化,比如L2正则化.但是,我没有直接访问LSTM单元格中使用的不同权重矩阵,所以我不能明确地做类似的事情

loss = something + beta * tf.reduce_sum(tf.nn.l2_loss(weights))

有没有办法访问矩阵或使用LSTM以某种方式使用正则化？

tf.trainable_variables为您提供了可用于添加L2正则化术语的Variable对象列表.请注意,这会为模型中的所有变量添加正则化.如果要将L2术语仅限制为权重的子集,可以使用 name_scope将变量命名为特定前缀,稍后使用它来过滤tf.trainable_variables返回的列表中的变量.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!