从 azure blob 存储读取 tfrecords 文件

Question

我有一些 TFRecords 文件存储在 Azure Blob 存储中。我想知道是否有某种方法可以使用 tensorflow 的 Dataset API 直接读取它们。

我目前使用的方式是将这些 tfreocrds 下载到本地文件系统，然后通过 Dataset API 读取。有没有更有效的方法？

Answer 1

这里的方法是为你的文件构造SAS tokens，并使用生成的url在tensorflow中下载文件。如果您只有几个文件，则可以通过 Azure 门户生成令牌，或者使用 Azure CLI 之类的工具。