使用 Cloud Composer 访问存储桶时出错答案

【问题标题】：Error accessing bucket using cloud composer使用 Cloud Composer 访问存储桶时出错
【发布时间】：2019-03-18 12:11:25
【问题描述】：

尝试使用 Cloud Composer 访问存储桶时出错...

[2019-03-18 11:50:00,651] {models.py:1594} 错误 - 404 GET https://www.googleapis.com/storage/v1/b/gs://xxxx-cloud-composer?projection=noAcl：未找到

    def Ian_Log_Message():
        from google.cloud import storage
        import logging
        logging.info('Hello Ian')
        gcs_bucket=models.Variable.get('gcs_bucket')
        logging.info('gcs_bucket - '+gcs_bucket)
        storage_client = storage.Client()
        bucket_results_out = storage_client.get_bucket(gcs_bucket)

存储桶存在并且它记录了正确的存储桶。我已经针对环境设置了一个服务帐户。服务帐号有权限..

BigQuery 管理员

作曲管理员

环境和存储对象管理员

作曲工作者

安全审查员

服务帐户参与者

存储管理员

我还将服务帐户设置为存储桶的所有者，看看是否有帮助。

【问题讨论】：

据我所知：Airflow 确实有一些 GCS 运算符。你试过用这些吗？
道歉，但我不知道你指的是什么？
您可以在此处找到 GCP 运算符集。必须有一个可以执行您需要的任务：airflow.apache.org/integration.html#gcp-google-cloud-platform
谢谢，我现在正在调查并试图让操作员工作。我仍然遇到身份验证问题，但会尝试并坚持下去。

标签： google-cloud-composer

【解决方案1】：

404 错误表示服务找不到给定的 GCS 存储桶，查看 GCS API spec 和您的错误消息，看来您可能不应该使用 gs://{bucket}，而是使用 @987654322 @ 应该只返回存储桶名称（例如，foo 与 gs://foo 相对）。

【讨论】：