是否可以在训练时动态标记特征？

Question

我有包含特征列（字符串）和多个标签列（多标签分类）的 CSV 文件。数据集太大而无法放入内存，因此我必须使用 make_csv_dataset 以指定的批量大小加载它。问题是我不知道如何在不超载内存的情况下标记特征列，我可以实现一个 DataProvider 来在训练时动态标记数据吗？然后我可以批量标记它，所以内存不是问题。

Answer 1

您可以使用“pyspark（在 python 中）”和“sparkly”（在 R 中）进行动态标记 请参考此issue 和此link 来解决您的问题。