python – 是否有可能在每个训练步骤中获得目标函数值？

发布时间：2020-12-16 22:39:56 所属栏目：Python 来源：网络整理

导读：在通常的TensorFlow训练循环中,例如 train_op = tf.train.AdamOptimizer().minimize(cross_entropy)with tf.Session() as sess: for i in range(num_steps): # ... train_op.run(feed_dict = feed_dict) train_op.run返回None. 但是,有时收集中间结果很有用,

在通常的TensorFlow训练循环中,例如

train_op = tf.train.AdamOptimizer().minimize(cross_entropy)

with tf.Session() as sess:
    for i in range(num_steps):
        # ...
        train_op.run(feed_dict = feed_dict)

train_op.run返回None.

但是,有时收集中间结果很有用,例如目标值或准确度.

添加额外的sess.run调用需要再次进行前向传播,从而增加运行时间：

train_op = tf.train.AdamOptimizer().minimize(cross_entropy)

with tf.Session() as sess:
    for i in range(num_steps):
        # ...
        o,a = sess.run([objective,accuracy],feed_dict = feed_dict)
        train_op.run(feed_dict = feed_dict)

是否可以一次性在TensorFlow中执行此操作？

编辑：

人们建议

sess.run([objective,accuracy,train_op],feed_dict = feed_dict)

但结果取决于列表元素的执行顺序：

[objective,train_op]

似乎未定义 – you get different results depending on whether CUDA is being used.

最佳答案

只需将train_op添加到要评估的节点列表中.

o,a,_ = sess.run([objective,feed_dict = feed_dict)

关于培训步骤及其评估顺序,我做了以下小型实验：

import tensorflow as tf
x = tf.Variable(0,dtype=tf.float32)
loss = tf.nn.l2_loss(x-1)
train_opt = tf.train.GradientDescentOptimizer(1)
train_op = train_opt.minimize(loss)
init_op = tf.global_variables_initializer()

sess = tf.Session()
sess.run(init_op)
x_val,_,loss_val = sess.run([x,train_op,loss])
# returns x_val = 1.0,loss_val = 0.5

情况比我最初的想法更加困惑.似乎是给定的是,提取的执行顺序不依赖于它们在列表中的相应位置：x_val和loss_val将独立于它们在列表中的位置而相同.

但是,正如@MaxB注意到的那样,他们的执行顺序并不能保证.在GPU上运行上述代码时,x_val设置为0.0,即初始值.但是,在CPU上运行时,x_val为1.0,即从train_op更新后的值.

这种依赖于配置的行为可能仅限于通过训练操作更新的变量,如上面的实验所示,但它们不能保证来自tf的文档.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!