【问题标题】:How to create a tsv file on Google Storage Transfer如何在 Google Storage Transfer 上创建 tsv 文件
【发布时间】:2018-02-15 23:35:58
【问题描述】:

Google 为其云服务提供了很好的文档,但遗憾的是没有人能够理解其中的内容。
他们的解释总是跳来跳去,让人们不知道完成一个简单的任务。

创建 tsv 文件应该是一项简单的任务。

我尝试关注此页面Creating a URL List 中的所有内容,但遇到了“未知错误”日志。 未知错误意味着我永远不知道自己做错了什么。

他们给示例下载文件 md5-test 一个字符串 "Storage Transfer MD5 Test" => BfnRTwvHpofMOn2Pq7EVyQ==

我可以用

成功验证md5-test文件
`openssl md5 -binary md5-test | openssl enc -base64`

获取哈希“BfnRTwvHpofMOn2Pq7EVyQ=="

这是否意味着“存储传输 MD5 测试”的哈希是“BfnRTwvHpofMOn2Pq7EVyQ==”?

他们在示例代码中给出了不同的字符串:

TsvHttpData-1.0
https://example.com/buckets/obj1 1357 wHENa08V36iPYAsOa2JAdw== https://example.com/buckets/obj22468 R9acAaveoPd2y8nniLUYbw==

不匹配,让我不知道应该对哪个对象进行编码?
他们为什么不把下载文件的内容和示例代码一样呢?

什么字符串会生成 "wHENa08V36iPYAsOa2JAdw==" ?

我已尝试将示例代码的每一部分放入 md5-test 文件并运行 openssl md5 -binary md5-test | openssl enc -base64,但无法获取该示例哈希。

【问题讨论】:

    标签: hash google-cloud-storage md5


    【解决方案1】:

    md5-test 文件用于验证您是否可以正确生成 md5 哈希。由于您从此文件中获得了正确的 md5 哈希 BfnRTwvHpofMOn2Pq7EVyQ==,因此您已准备好生成 Base64 编码的 MD5 哈希。

    现在您需要通过在本地运行以下命令,为要包含在 TSV 文件中的每个文件生成一个:

    openssl md5 -binary <your_file_name> | openssl enc -base64

    这将为每个文件提供一个新的 Base64 编码的 MD5 哈希。然后,您可以将文件上传到其最终目的地并相应地创建 TSV 文件。以documentation 中提供的示例为例,假设您想在 URL 列表中包含 md5-test 文件,生成的 TSV 文件将如下所示:

    TsvHttpData-1.0
    https://storage.googleapis.com/md5-test/md5-test 26 BfnRTwvHpofMOn2Pq7EVyQ== https://example.com/buckets/obj1 1357 wHENa08V36iPYAsOa2JAdw== https://example.com/buckets/obj22468 R9acAaveoPd2y8nniLUYbw==

    【讨论】:

    • 感谢您指出正确的方向。我输了,因为在提供的唯一示例代码中,它提供了不存在的 url,而可能会生成真正的哈希值。我可以正确生成 tsv 文件,现在又出现了一个问题,传输的文件状态完成但给了 0 个字节。 screenshot。我使用 #wc -c example.com/myfile.zip 559378601 0yLbmTUd8ubfxG+hfKJj+w== 任何线索?
    • 第二次尝试将相同的 tsv 文件放入 google 存储桶,给我这个错误的失败状态。 screenshot
    • 559378601 字节对应于 ~559.37MB,但是在您的上一个屏幕截图中,我可以看到 533.47MB 的传输失败。如果大小不匹配,则不会传输对象。你能检查一下这里是否有错误或拼写错误?
    • 如何使用 linux debian 命令行获得正确的文件大小?我使用“wc -c
    猜你喜欢
    • 2021-09-06
    • 2018-01-03
    • 1970-01-01
    • 1970-01-01
    • 2018-10-03
    • 2019-05-25
    • 1970-01-01
    • 2013-03-29
    • 2015-08-30
    相关资源
    最近更新 更多