【问题标题】:Is there a limit on the number of files in Google Cloud Storage ( GCS )?Google Cloud Storage (GCS) 中的文件数量是否有限制?
【发布时间】:2015-04-16 00:30:54
【问题描述】:

我认为不应该有任何限制,只是想确认一下(官方文档中没有提及):

  1. Google Cloud Storage (GCS) 中的文件数量是否有限制?
  2. 如果 GCS 中有大量文件,是否会影响性能(访问和写入操作)?
  3. 文件名长度是否有限制(因为我可以使用文件名创建伪目录结构)?

【问题讨论】:

    标签: google-app-engine google-cloud-storage


    【解决方案1】:

    Re (3):根据https://cloud.google.com/storage/docs/bucket-naming,存储桶名称限制为 222 个字符(以及其他几个限制);根据https://cloud.google.com/storage/docs/naming-objects,对象名称限制为 1024 个字符(当 utf8 编码时),有一个强制性限制(“不得包含回车或换行字符”)和几个“强烈推荐”的约定(无控制字符,避免某些标点符号)。

    关于 (1) 和 (2),据我所知,您可以在 GCS 中存储的对象数量没有限制,也没有取决于这些数字的性能影响。 Google 的在线文档确实明确指出“任何数据量”。

    但是,如果您需要对异常大小的项目(许多 PB,而不是 https://cloud.google.com/storage/docs/overview 中提到的仅仅 TB)做出坚定的承诺,您最好“正式”获得这样的承诺,方法是联系销售@@ 987654324@.

    http://googlecloudplatform.blogspot.com/2013/11/justdevelopit-migrates-petabytes-of-data-to-google-cloud-storage.html 专门采访了一位使用 Cloud Storage 的客户“超过 10 PB [[增长]],以每月 800 TB 的速度”,因此,至少达到这样的数量级,您绝对应该没问题。

    【讨论】:

    • @gsinha,乐于助人!请接受答案,以便将问题明确标记为已解决,谢谢!
    • 你是绝对正确的。在上面说“谢谢”并投票之前,我确实接受了答案。我是从我的 Android 手机应用程序中完成的,它似乎没有生效。我现在用我的笔记本电脑做到了。您的回复增加了信心和清晰度。再次感谢。我很感激你。
    • 但是“任意数量的数据”是否也意味着每个存储桶有任意数量的文件?如果我想将 20 亿个 jpeg 文件(每个 70 KB)存储到一个存储桶中,这可能吗?
    【解决方案2】:

    可能有限制

    我正在使用 HyperBackup 将大量文件从 Synology diskstation 备份到 Google S3。虽然文件数量较少的备份作业运行良好,但对于较大的任务,它总是会失败并显示“授权失败”错误。

    Synology 支持人员告诉我,这是因为 Google S3 端的文件太多。

    我使用的是旧版 S3 兼容访问 - 不是原生 google 访问,可能是由于这个原因。

    【讨论】:

    • 没有“Google S3”之类的东西。
    • 我的意思是谷歌云存储,可以使用与 AWS S3 相同的协议访问,对不起
    猜你喜欢
    • 1970-01-01
    • 2014-01-05
    • 2019-05-15
    • 2018-06-25
    • 1970-01-01
    • 2023-03-13
    • 2022-07-16
    • 2020-03-02
    • 2019-05-17
    相关资源
    最近更新 更多