无法使用 tf.data.map 将批处理转换为 pandas 数据框

【问题标题】：Can not convert batch to pandas data frame with tf.data.map无法使用 tf.data.map 将批处理转换为 pandas 数据框
【发布时间】：2020-11-29 17:52:47
【问题描述】：

我正在使用 Tensorflow 2 来训练分类器。我已经用tensorflow.data.experimental.make_csv_dataset 阅读了一个非常大的 csv 文件（一些 int 特征、一些 float 特征和结果列）。如何使用tf.data.map 将每个批次转换为熊猫数据框？

教程非常混乱。请有任何建议

【问题讨论】：

标签： python tensorflow deep-learning tensorflow2.0 tensorflow-datasets

【解决方案1】：

就批量调用pd.DataFrame？

import  tensorflow as tf
import pandas as pd

ds = tf.data.experimental.make_csv_dataset('iris.csv', batch_size=8)

example = next(iter(ds))

pd.DataFrame(example)

   sepallength  sepalwidth  petallength  petalwidth        variety
0          5.1         3.5          1.4         0.2      b'Setosa'
1          5.9         3.2          4.8         1.8  b'Versicolor'
2          4.4         3.2          1.3         0.2      b'Setosa'
3          7.9         3.8          6.4         2.0   b'Virginica'
4          5.6         2.7          4.2         1.3  b'Versicolor'
5          5.7         2.8          4.1         1.3  b'Versicolor'
6          4.5         2.3          1.3         0.3      b'Setosa'
7          5.5         4.2          1.4         0.2      b'Setosa'

【讨论】：