如何使用预训练的 InceptionV3 加速我的 Keras CNN

Question

我想训练一个卷积神经网络来识别两种类型的类。
我还想使用已经训练好的模型（如 InceptionV3）的第一个卷积层。
然而，训练过程真的很慢。你有什么建议我可以改进吗？我不会提到我的 CPU、RAM，我在这里只关心瓶颈在哪里以及我可以改进什么来加快速度（我的图像已经是 229x299x3）。

from keras.applications import InceptionV3
from keras import layers
from keras.models import Model
from keras import optimizers
from keras.preprocessing.image import ImageDataGenerator
import numpy as np
import os


def generator(images_dir):
    datagen = ImageDataGenerator(rescale=1. / 255)
    gen = datagen.flow_from_directory(
        images_dir,
        target_size=(segment_size, segment_size),
        batch_size=batch_size,
        class_mode='categorical',
        shuffle=True)
    return gen


def num_files_in_folder(folder):
    count = 0
    for subdir, dirs, files in os.walk(folder):
        for file in files:
            if not file.startswith("."):
                count += 1
    return count


segment_size = 229
batch_size = 32
base_model = InceptionV3(weights='imagenet',
                         include_top=False,
                         input_shape=(segment_size, segment_size, 3))
x = base_model.output
x = layers.GlobalAveragePooling2D()(x)
x = layers.Dense(1024, activation='relu')(x)
predictions = layers.Dense(2, activation='softmax')(x)

model = Model(inputs=base_model.input, outputs=predictions)

for layer in base_model.layers:
    layer.trainable = False

model.compile(optimizer=optimizers.SGD(lr=0.01, nesterov=True),
              loss='categorical_crossentropy',
              metrics=['acc'])

train_dir = "/home/user/train"
validation_dir = "/home/user/val"
train_gen = generator(train_dir)
val_gen = generator(validation_dir)
steps_per_epoch = int(np.ceil(num_files_in_folder(train_dir) / batch_size))
validation_steps = int(np.ceil(num_files_in_folder(validation_dir) / batch_size))

history = model.fit_generator(
    generator=train_gen,
    steps_per_epoch=steps_per_epoch,
    epochs=10,
    validation_data=val_gen,
    validation_steps=validation_steps,
    use_multiprocessing=False,
    verbose=1)

Answer 1

首先，我建议您将数据转换为 TFRecords 并避免使用flow_from_directory。 ImageDataGenerator 可能是快速原型设计的一个不错的选择，但 TFRecords 和相应的 TF 基础设施（队列/运行器/阅读器）确实针对快速阅读进行了优化。通过使用tf.data API，尤其是Dataset.prefetch()，您可以获得显着的加速。

在大多数情况下，数据读取是瓶颈，我可以在这里停下来。但在那之后我也会尝试：

• multi_gpu培训
• 使用float16 可能会有所帮助，但tricky。

Answer 2

我会用tf.data.Dataset.from_tensor_slices 试试这个 假设您有通往训练集train_path 的路径。首先，您从中创建数据集对象。您也可以不传递路径，而是传递路径 from_tensor_slices((image_path, labels_path)) 或文件名/标签列表。以后可以用parse函数处理。

dataset = tf.data.Dataset.from_tensor_slices(image_path)

然后，您可以将任何解析函数混洗、批处理和映射到此数据集。您可以控制使用随机缓冲区预加载的示例数量。重复控制 epoch 计数，最好保留 None，因此它将无限重复。您可以使用普通批处理功能或与

结合使用

dataset = dataset.shuffle().repeat()
dataset.apply(tf.data.experimental.map_and_batch(map_func=parse_func, batch_size,num_parallel_batches))

你需要定义解析函数来从文件名加载实际数据

def parse_func(filename):
    f = tf.read_file(filename)
    img = tf.image.decode_image(f)
    label = #get label from filename
    return img, l

将此应用于数据集对象后，它将包含成对的图像/标签。

请记住，批处理在此管道中进行，因此您不需要在 model.fit 中使用批处理，但您需要传递每个 epoch 的数量和步骤。后者可能有点棘手，因为你不能像 len(dataset) 那样做事，所以应该提前计算。

model.fit(dataset, epochs, steps_per_epoch)

您可以对测试数据集执行相同的操作。您也可以使用

检查它的内容

iterator = dataset.make_one_shot_iterator()
with tf.Session() as sess:
    print(sess.run(iterator.get_next()))

这将输出 num_batches。