数据集中模式的随机化

Question

我对 ML 世界还很陌生，我正在尝试随机化数据集 X_Train、Y_Train 以便稍后从它们构建小批量。 X_Train 的随机化工作正常，但 Y_Train 的随机化一直给我回溯：

只能将列表（不是“int”）连接到列表

import numpy as np
import math

def create_datasets():
   dataset = np.genfromtxt('winequality-white.csv', delimiter=';')
   dataset = dataset[1:,:]
   X_Test=dataset[:64,:-1]
   X_Train=dataset[64:,:-1]
   m = X_Train.shape[0]
   Y_Test=dataset[:64,-1:]
   Y_Train=dataset[64:,-1:].reshape(m,1)

   return X_Train, Y_Train, X_Test, Y_Test, m

def shuffling(X_Train,Y_Train,m,minibatch_size):
   permutation=list(np.random.permutation(m))
   shuffled_X=X_Train[permutation,:].T
   shuffled_Y=Y_Train[permutation,:]
   n_comp_minibatches=math.floor(m/minibatch_size)    #Total n. of minibatches with 64 elements
   minibatches=[]

有人能告诉我哪里错了吗？

Answer 1

您的代码对我来说似乎很好。这是一个完整的版本：

def shuffling(X_Train, Y_Train, m, minibatch_size):
    permutation = list(np.random.permutation(m))
    shuffled_X = X_Train[permutation, :]
    shuffled_Y = Y_Train[permutation, :]
    n_comp_minibatches = math.floor(m / minibatch_size)
    minibatches = [(shuffled_X[i*minibatch_size:(i+1)*minibatch_size],
                    shuffled_Y[i*minibatch_size:(i+1)*minibatch_size])
                   for i in range(n_comp_minibatches)]
    return minibatches

如果您还想包含最后一个不完整的小批量，只需在列表推导中使用n_comp_minibatches + 1。此外，使用[rows, features] 数据而不是[features, data] 通常更方便，这就是我跳过转置的原因，但这取决于你。