【问题标题】:How to I import data from csv to gcp datastore如何将数据从 csv 导入 gcp 数据存储
【发布时间】:2021-06-27 19:10:54
【问题描述】:

我一直在尝试将示例 nosql db 导入 gcp 数据存储。当存储在 gcs 数据存储中时,请求特定扩展名中的数据,即 .overall_export_metadata。

【问题讨论】:

  • 如果您尝试导入的文件是样本,那么您没有.overall_export_metadata 文件是有道理的。这些元数据文件仅由数据存储导出过程创建,听起来您的示例文件没有附带元数据文件。不过,以防万一,您可以在此页面中查找短语“定位您的 overall_export_metadata 文件” - cloud.google.com/datastore/docs/… - 这应该让您有机会找到项目中可能存在这些文件之一的位置。
  • 这条评论很好地洞察了这个问题,您能否确认这对您的问题是否有用?

标签: google-cloud-platform google-cloud-datastore


【解决方案1】:

我认为没有任何现有工具可以将 CSV 导入数据存储区。您可以编写一个 Google Dataflow 作业来执行此操作。

https://beam.apache.org/documentation/programming-guide/

https://cloud.google.com/dataflow/docs/quickstarts

看起来他们确实提供了一个基于模板的作业,该作业接收一个 JSON 文件并将其写入数据存储区

https://cloud.google.com/dataflow/docs/guides/templates/provided-batch#gcstexttodatastore

JSON 格式:

https://cloud.google.com/datastore/docs/reference/data/rest/v1/Entity

【讨论】:

    猜你喜欢
    • 2022-08-12
    • 1970-01-01
    • 2012-03-22
    • 2020-11-18
    • 2015-05-18
    • 2012-10-24
    • 2018-05-25
    • 2019-01-13
    • 1970-01-01
    相关资源
    最近更新 更多