【发布时间】：2019-04-04 15:51:33
【问题描述】：
Keras fit_generator 非常慢。 GPU 在训练中不会经常使用，有时它的使用率会下降到 0%。即使是 4 名工人和multiproceesing=True。
另外，脚本进程请求的虚拟内存过多，状态为 D，uninterruptible sleep (usually IO)。
我已经尝试过max_queue_size 的不同组合，但没有成功。
Screenshot GPU 使用率
Screenshot 的进程虚拟内存和状态
Hardware Info GPU = Titan XP 12Gb
数据生成器类代码
import numpy as np
import keras
import conf
class DataGenerator(keras.utils.Sequence):
'Generates data for Keras'
def __init__(self, list_IDs, labels, batch_size=32, dim=(conf.max_file, 128),
n_classes=10, shuffle=True):
'Initialization'
self.dim = dim
self.batch_size = batch_size
self.labels = labels
self.list_IDs = list_IDs
self.n_classes = n_classes
self.shuffle = shuffle
self.on_epoch_end()
def __len__(self):
'Denotes the number of batches per epoch'
return int(np.floor(len(self.list_IDs) / self.batch_size))
def __getitem__(self, index):
'Generate one batch of data'
# Generate indexes of the batch
indexes = self.indexes[index*self.batch_size:(index+1)*self.batch_size]
# Find list of IDs
list_IDs_temp = [self.list_IDs[k] for k in indexes]
# Generate data
X, y = self.__data_generation(list_IDs_temp)
return X, y
def on_epoch_end(self):
'Updates indexes after each epoch'
self.indexes = np.arange(len(self.list_IDs))
if self.shuffle == True:
np.random.shuffle(self.indexes)
def __data_generation(self, list_IDs_temp):
'Generates data containing batch_size samples' # X : (n_samples, *dim, n_channels)
# Initialization
X = np.empty((self.batch_size, *self.dim))
y = np.empty((self.batch_size, conf.max_file, self.n_classes))
# Generate data
for i, ID in enumerate(list_IDs_temp):
# Store sample
X[i, ] = np.load(conf.dir_out_data+"data_by_file/" + ID)
# Store class
y[i, ] = np.load(conf.dir_out_data +
'data_by_file/' + self.labels[ID])
return X, y
python脚本代码
training_generator = DataGenerator(partition['train'], labels, **params)
validation_generator = DataGenerator(partition['validation'], labels, **params)
model.fit_generator(generator = training_generator,
validation_data = validation_generator,
epochs=steps,
callbacks=[tensorboard, checkpoint],
workers=4,
use_multiprocessing=True,
max_queue_size=50)
【问题讨论】：
-
说“非常慢”是主观的，一个epoch需要多长时间？有没有考虑到 GPU 不是瓶颈，而是从文件系统读取文件？
-
可能是因为文件系统的读取时间。与仅使用
fit相比，它“非常慢”。 GPU没有完全使用，所以我认为问题可能不在于它。 -
fit 和 fit_generator 不做同样的事情，所以它不是一个公平的比较。您应该为您的问题找到一种减少 IO 的方法，例如，要读取大量小文件总是会成为问题。
-
那么如何最小化
fit_generator的这个问题呢？由于数据量大，我无法使用fit。 -
优化生成器函数，使其速度快，使用最少的IO。
标签： python keras multiprocessing gpu virtual-memory