如何在TensorFlow中使用parallel_interleave

以下是我建议使用parallel_interleave从多个目录中读取图像的方法,每个目录包含一个类：

classes = sorted(glob(directory + '/*/')) # final slash selects directories only
num_classes = len(classes)

labels = np.arange(num_classes,dtype=np.int32)

dirs = DS.from_tensor_slices((classes,labels))               # 1
files = dirs.apply(tf.contrib.data.parallel_interleave(
    get_files,cycle_length=num_classes,block_length=4,# 2
    sloppy=False)) # False is important ! Otherwise it mixes labels
files = files.cache()
imgs = files.map(read_decode,num_parallel_calls=20).        # 3
            .apply(tf.contrib.data.shuffle_and_repeat(100))
            .batch(batch_size)
            .prefetch(5)

有三个步骤.首先,我们获取目录及其标签列表(#1).

然后,我们将这些映射到文件的数据集.但是如果我们做一个简单的.flatmap(),我们最终会得到标签0的所有文件,然后是标签1的所有文件,然后是2等…然后我们需要非常大的shuffle缓冲区才能得到一个有意义的洗牌.

因此,我们应用parallel_interleave(#2).这是get_files()：

def get_files(dir_path,label):
    globbed = tf.string_join([dir_path,'*.jpg'])
    files = tf.matching_files(globbed)

    num_files = tf.shape(files)[0] # in the directory
    labels = tf.tile([label],[num_files,]) # expand label to all files
    return DS.from_tensor_slices((files,labels))

使用parallel_interleave可确保每个目录的list_files并行运行,因此在第一个目录中列出第一个block_length文件时,第二个目录中的第一个block_length文件也将可用(也可以从第3个,第4个等).此外,结果数据集将包含每个标签的交错块,例如,1 1 1 1 2 2 2 2 3 3 3 3 3 1 1 1 1 …(3类,block_length = 4)

最后,我们从文件列表中读取图像(#3).这是read_and_decode()：

def read_decode(path,label):
    img = tf.image.decode_image(tf.read_file(path),channels=3)
    img = tf.image.resize_bilinear(tf.expand_dims(img,axis=0),target_size)
    img = tf.squeeze(img,0)
    img = preprocess_fct(img) # should work with Tensors !

    label = tf.one_hot(label,num_classes)
    img = tf.Print(img,[path,label],'Read_decode')
    return (img,label)

此函数采用图像路径及其标签,并为每个：路径的图像张量和标签的one_hot编码返回张量.这也是您可以对图像进行所有转换的地方.在这里,我做了调整大小和基本的预处理.