【问题标题】:GCS encryption always fails on big filesGCS 加密总是在大文件上失败
【发布时间】:2018-03-12 05:20:33
【问题描述】:

我正在尝试使用gsutil rewrite 命令(在https://cloud.google.com/storage/docs/using-encryption-keys 之后)使用我自己的密钥加密 GCS 上的文件

按照指示,我正在使用一个 boto 文件,包括 [GSUtil] encryption_key = p9syBNA0ycKxGotK3XinNZC6aCpdn3ZQ7WWOhKNgBaY= 它在小文件上没有问题,但在大文件上不断失败。 我正在运行命令: gsutil rewrite -k -O gs://ywz-tmp/bigfile.txt

这是一个已知问题吗? 有什么解决方法吗?

请随意使用文件和密钥(都是为这篇文章生成的)

【问题讨论】:

  • 您能否提供有关您所看到的具体故障的更多详细信息?什么大小的文件失败?
  • @TravisHobrla 我相信问题开始于 200M 左右。 gsutil cp 有效,只是重写失败了。
  • 我正在使用的解决方法:gsutil ls -L gs://MY_BUKCET/**|awk -v RS="]" -v FS="\n" '! /Encryption algorithm: AES256/ {print$2}'|sed 's/:$//'|xargs -P 15 -n 1 -I @@ bash -c 'gsutil cat @@ |gsutil cp - @@'
  • 我能够用一个 500MiB 的文件重现这个问题,我目前的想法是它是 GCS 服务的一个错误,所以我正在跟进。

标签: google-cloud-storage


【解决方案1】:

此问题的修复程序现在应该已投入生产。

【讨论】:

    猜你喜欢
    • 2017-03-27
    • 2012-07-02
    • 2020-09-12
    • 2011-11-15
    • 1970-01-01
    • 1970-01-01
    • 2012-05-31
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多