【问题标题】:Comparison of uploading files to GCS using Google Drive vs gsutil使用 Google Drive 与 gsutil 上传文件到 GCS 的比较
【发布时间】:2018-06-14 19:31:52
【问题描述】:

我一直在比较如何将文件上传到云存储,一种是在浏览器中(或模拟浏览器),另一种是通过gsutil 到 Google Cloud Storage 存储桶的命令行。

Google 云端硬盘是否在后端使用 gsutil,或者上传器是完全定制的专有软件?有没有办法实现上传到 Google Cloud Storage 存储桶的速度类似于我可以通过 Drive 实现的上传速度?如果没有,您对如何获得与 Google Drive 相同的上传速度,将文件上传到 GCS 存储桶有什么建议?

【问题讨论】:

    标签: file-upload google-drive-api google-cloud-storage gsutil


    【解决方案1】:

    我不确定 GDrive 在后台使用 gsutil。 您可以使用多种优化来提高 gsutil 速度。

    首先,您可以使用 perfdiag 启动一个小型诊断测试,该测试将为您提供概览和可能实现的速度。

    gsutil perfdiag -o test.json gs://<your bucket name>
    

    其次,您需要了解您的工作负载(小/大文件)并确定对区域或多区域存储桶的需求(是的,存在性能差异)tl;dr:

    “区域存储桶非常适合数据处理,因为它们的物理距离相当近,并且写入一致性的开销很低。”

    “另一方面,多区域存储可保证 2 个地理多样化(相距 100 英里)的复制,从而获得更好的远程延迟和可用性。 "

    有一些关于云图集的信息专门针对这个主题,你可以在这里查看:

    https://medium.com/google-cloud/google-cloud-storage-what-bucket-class-for-the-best-performance-5c847ac8f9f2

    https://medium.com/google-cloud/google-cloud-storage-large-object-upload-speeds-7339751eaa24?source=user_profile---------12----------------

    https://medium.com/@duhroach/optimizing-google-cloud-storage-small-file-upload-performance-ad26530201dc

    https://medium.com/@duhroach/google-cloud-storage-performance-4cfcec8bad72

    https://cloud.google.com/storage/docs/best-practices

    【讨论】:

    猜你喜欢
    • 2014-09-05
    • 2020-12-10
    • 2018-12-18
    • 1970-01-01
    • 1970-01-01
    • 2020-03-10
    • 2015-09-13
    • 2012-12-16
    • 1970-01-01
    相关资源
    最近更新 更多