如何使用谷歌云存储文件中的 gs:// 链接读取 csv 中的字符串内容答案

【问题标题】：How to read string content in a csv with gs:// links in the file on google cloud storage如何使用谷歌云存储文件中的 gs:// 链接读取 csv 中的字符串内容
【发布时间】：2019-10-20 09:13:55
【问题描述】：

我在谷歌云平台上运行了一个自然语言 AutoML 文本分类模型。我用来训练模型的数据可以导出到存储桶中的 csv 文件。该文件有 3 列（1.train/validation/test，2.gs:// 参考实际内容，3.预测结果/标签），如下例所示。

火车gs://[bucket_name]/[folder]/uploads/content/RrpGCDwgse0.txt 网站

我的问题是如何从 gs:// 参考中获取实际内容，以便我可以查看每一行以确定预测的标签是否正确。输出应该是包含字符串内容的 csv 文件，而不是 gs:// 引用。

【问题讨论】：

标签： csv google-cloud-platform google-cloud-storage automl google-cloud-automl

【解决方案1】：

在使用 AutoML 存储用于训练模型的文档之前，此存储桶可能已由某人创建。因此，如果您想要访问存储桶中的对象，则需要拥有正确权限的人授予您访问存储桶或存储桶中各个对象的权限。 gs:// 引用是对象本身。

有很多 options 可用于此：

Cloud Identity and Access Management (Cloud IAM) permissions 授予对存储桶的访问权限以及对存储桶中对象的批量访问权限。
Access Control Lists (ACLs) 授予用户对单个存储桶或对象的读取或写入权限
Signed URLs (query string authentication) 通过您生成的 URL 授予对对象的限时读取或写入访问权限

【讨论】：

我是所有者，拥有所有访问权限。我的目标是用我的 cvs 输出文件中的字符串内容替换 gs:// 引用。
您可以设置一个获取triggered when a new file 的云函数，并让它使用存储client libraries 之一操作CSV 文件，将gs:// 引用替换为文件内容和然后再次将其写入存储
感谢 Corinne，但我找不到可以用字符串内容替换 gs:// 引用的库...
云函数会涉及一些编码，并且该方法将取决于您熟悉的任何编程语言。我可以确认一下，因为我对 AutoML 不太熟悉，UI 是否提供了您需要的功能？据我了解，您可以在控制台本身中看到应用于测试数据的标签。
不，UI 没有提供我需要的功能。我最终得到的解决方案是使用 python 将一个 json 文件转换为表格格式，这是相当多的工作，但它确实有效。谢谢科琳娜。