如何在TensorFlow中减少循环中的内存消耗？

发布时间：2020-12-16 22:59:03 所属栏目：Python 来源：网络整理

导读：我在TensorFlow中有一个循环,如下所示： with tf.device("/gpu:1"): losses = [] for target,output in zip(targets,lstm_outputs): logits = tf.matmul(W,output) + b loss = tf.nn.sparse_softmax_cross_entropy_with_logits(logits,target) losses.append

我在TensorFlow中有一个循环,如下所示：

with tf.device("/gpu:1"):
    losses = []

    for target,output in zip(targets,lstm_outputs):
        logits = tf.matmul(W,output) + b
        loss = tf.nn.sparse_softmax_cross_entropy_with_logits(logits,target)
        losses.append(loss)

    total_loss = tf.add_n(losses)

在为此图层分配渐变时,我收到OOM错误,因为每个矩阵乘法在图形记忆中是不同的操作.有没有办法阻止TensorFlow同时分配所有这些操作？

解决方法

这是TensorFlow优化的具有挑战性的图,因为必须保持来自每个层的激活以聚合W的单个梯度.一种可能性是在调用 optimizer.optimize()时传递 experimental aggregation_method参数.

例如,您可以尝试以下操作：

optimizer = tf.train.AdagradOptimizer(...)  # Or another optimization algorithm.
train_op = optimizer.minimize(
    total_loss,aggregation_method=tf.AggregationMethod.EXPERIMENTAL_ACCUMULATE_N)

此选项会急切地聚合反复使用的变量的渐变,而不是将它们全部保留在内存中,直到计算出所有渐变为止.如果这不起作用,tf.AggregationMethod.EXPERIMENTAL_TREE可能会更好.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!