在 CloudML 中的 Tensorflow 中读取 pandas pickle 文件

Question

我在尝试读取熊猫泡菜时遇到错误，例如df.to_pickle() 方法，存储在 Google Cloud 存储中。我正在尝试执行以下操作：

path_to_gcs_file = 'gs://xxxxx'
f = file_io.FileIO(path_to_gcs_file, mode='r').read()
train_df = pd.read_pickle(f)
f.close()

我收到以下错误：

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 0: invalid start byte

我也试过了：

f = BytesIO(file_io.read_file_to_string(path_to_gcs_file, binary_mode=True))
train_df = pd.read_pickle(f)

在本地有效，但在 CloudML 上无效！

f = file_io.read_file_to_string(path_to_gcs_file, binary_mode=True)
train_df = pd.read_pickle(f)

给我一​​个错误： AttributeError: 'bytes' 对象没有属性 'seek'

Answer 1

您应该能够摆脱使用上下文管理器，但我认为您正在使用这种方式提取证书的末尾，因此您应该通过 api 下载文件

pip install --upgrade google-cloud-storage

然后

# Initialise a client
storage_client = storage.Client("[Your project name here]")
# Create a bucket object for our bucket
bucket = storage_client.get_bucket(bucket_name)
# Create a blob object from the filepath
blob = bucket.blob("folder_one/foldertwo/filename.extension")
# Download the file to a destination
blob.download_to_filename(path_to_gcs_file)
with open(path_to_gcs_file, "rb" as f:
    train_df = = pickle.load(f)

从这个答案中得到了很多： Downloading a file from google cloud storage inside a folder

Answer 2

pandas.read_pickle 接受路径作为第一个参数；您正在传递一个 File 对象 (file.FileIO) 和一个 bytes 对象 (read_to_string)。

到目前为止，我还没有找到使用 pandas 直接从 GCS 读取泡菜对象的方法，因此您必须将其复制到机器上。您可以为此使用file_io.copy：

file_io.copy('gs://xxxx', '/tmp/x.pkl')
train_df = pd.read_pickle('/tmp/x.pkl')