如何在 tensorflow 中使用 tf.data 读取 .csv 文件？

Question

我有三个不同的 .csv 数据集，我通常使用 pandas 读取这些数据集并训练深度学习模型。每个数据都是一个 n x m 矩阵，其中 n 是样本数，m 是特征数。读取数据后，我进行了一些重塑，然后使用 feed_dict 将它们提供给我的深度学习模型：

data1 = pd.DataFrame(np.random.uniform(low=0, high=1, size=(10,3)), columns=['A', 'B', 'C'])
data2 = pd.DataFrame(np.random.uniform(low=0, high=1, size=(10,3)), columns=['A', 'B', 'C'])
data3 = pd.DataFrame(np.random.uniform(low=0, high=1, size=(10,3)), columns=['A', 'B', 'C'])

data = pd.concat([data1, data2, data2], axis=1)

# Some deep learning model that work with data
# An optimizer

with tf.compat.v1.Session() as sess:
     sess.run(init)
     sess.run(optimizer, feed_dict={SOME VARIABLE: data})  

但是我的数据现在太大而无法放入内存中，我想知道如何使用 tf.data 而不是使用 pandas 来读取数据。抱歉，如果我提供的脚本是伪代码而不是我的实际代码。

Answer 1

适用于TF2.0及以上。有几种方法可以从 CSV 文件创建数据集：

1. 我相信您正在使用 pandas 读取 CSV 文件，然后执行此操作

   tf.data.Dataset.from_tensor_slices(dict(pandaDF))

2. 你也可以试试这个

   tf.data.experimental.make_csv_dataset

3. 或者这个

   tf.io.decode_csv

4. 还有这个

   tf.data.experimental.CsvDataset

详情在这里：Load CSV

如果您需要在加载 Pandas 之前进行处理，那么您可以按照当前的方法进行处理，而不是使用 pd.concat([data1, data2, data2], axis=1)，使用 concatentate 函数

data1 = pd.DataFrame(np.random.uniform(low=0, high=1, size=(10,3)), columns=['A', 'B', 'C'])
data2 = pd.DataFrame(np.random.uniform(low=0, high=1, size=(10,3)), columns=['A', 'B', 'C'])
data3 = pd.DataFrame(np.random.uniform(low=0, high=1, size=(10,3)), columns=['A', 'B', 'C']) 

tf_dataset = tf.data.Dataset.from_tensor_slices(dict(data1))
tf_dataset = tf_dataset.concatentate(tf.data.Dataset.from_tensor_slices(dict(data2)))
tf_dataset = tf_dataset.concatentate(tf.data.Dataset.from_tensor_slices(dict(data3)))

更多关于concatenate