调整大小的 Pytorch 张量/数据集副本

Question

我有一个包含几百万行的自制数据集。我正在尝试制作截断的副本。因此，我剪裁了用于制作原始数据集并创建新数据集的张量。但是，当我保存只有 20K 行的新数据集时，它在磁盘上的大小与原始数据集相同。否则，一切似乎都合乎情理，包括，当我检查时，新张量的大小。我做错了什么？

#original dataset - 2+million rows
dataset = D.TensorDataset(training_data, labels)
torch.save(dataset, filename)

#20k dataset for experiments
d = torch.Tensor(training_data[0:20000])
l = torch.Tensor(labels[0:20000])
ds_small = D.TensorDataset(d,l)
#this is the same size as the one above on disk... approx 1.45GB
torch.save(ds_small, filename_small)

谢谢

Answer 1

在您的代码中d 和training_data 共享相同的内存，即使您在创建d 期间使用了切片。我不知道为什么会这样，但还是回答一下给你一个解决方案：

d = x[0:10000].clone()
l = y[0:10000].clone()

clone将为您提供具有独立于旧张量的内存的张量，并且文件大小会小得多。

请注意，在创建 d 和 l 时不需要使用 torch.Tensor()，因为 training_data 和 labels 已经是张量。