如何从 Colaboratory 下载大文件（如模型的权重）？

Question

我尝试从 google Colaboratory 下载小文件。它们很容易下载，但是每当我尝试下载大尺寸的文件时，它会显示错误？大文件的下载方式是什么？

Answer 1

如果您创建了一个大的 zip 文件，比如 my_archive.zip，那么您可以按以下方式下载它：

1. 从您的 Google colab Notebook 安装您的 Google 驱动器。你会 被要求输入验证码。

from google.colab import drive
drive.mount('/content/gdrive',force_remount=True)

1. 将 zip 文件复制到您的任何 google 驱动器文件夹（例如下载文件夹）。您也可以将文件复制到作为根文件夹的“我的云端硬盘”中。

!cp my_archive.zip '/content/gdrive/My Drive/downloads/'
!ls -lt '/content/gdrive/My Drive/downloads/' 

最后，您可以将 zip 文件从 Google 驱动器下载到本地计算机。

Answer 2

这就是我处理这个问题的方式：

from google.colab import auth
from googleapiclient.http import MediaFileUpload
from googleapiclient.discovery import build

auth.authenticate_user()

然后点击链接，授权 Google Drive 并将代码粘贴到 notebook 中。

drive_service = build('drive', 'v3')

def save_file_to_drive(name, path):
    file_metadata = {
      'name': name,
      'mimeType': 'application/octet-stream'
     }

     media = MediaFileUpload(path, 
                    mimetype='application/octet-stream',
                    resumable=True)

     created = drive_service.files().create(body=file_metadata,
                                   media_body=media,
                                   fields='id').execute()

     print('File ID: {}'.format(created.get('id')))

     return created

然后：

save_file_to_drive(destination_name, path_to_file)

这会将所有文件保存到您的 Google 云端硬盘中，您可以在其中下载或同步它们或其他任何内容。

Answer 3

Google colab 不允许您使用 files.download() 下载大文件。但是您可以使用以下方法之一来访问它：

1. 最简单的方法是使用 github 提交和推送文件，然后将其克隆到本地计算机。
2. 您可以将 google-drive 挂载到您的 colab 实例并在那里写入文件。