无法使用 BigQuery 从 Google Datastore 检索 JSON 实体

Question

我正在尝试将实体从 Google 数据存储导出到 Big Query（然后导出到 CSV）。

当我创建数据集时，一切都很好，除了一个应该是 JSON 的缺失变量。(ndb.JsonProperty())

查看数据存储区中的这个实体变量，它似乎是一个编码的 JSON（例如：...0NzIyMDUyODkiLCAidXNlcl9uYW1lIjogIlZpbmNlbnQgR...）

我的唯一目的是使用 Big Query、Python 或任何需要的工具从数据存储中导出该实体，以便探索数据。

Answer 1

ndb JsonProperty 值以blobs 的形式存储在数据存储区中：

JsonProperty Value 是一个 Python 对象（如列表或字典或字符串），可使用 Python 的 json 模块进行序列化； Cloud Datastore 将 JSON 序列化存储为 Blob。

BigQuery discards blob data：

Blob BigQuery 在加载数据时会丢弃这些值。

一种可能的解决方法是在您的模型上创建Computed Properties，以 BigQuery 可接受的格式提取您感兴趣的数据。

例如，假设您将这样的dict 存储在您的JsonProperty 中：

data = {'foo': 'bar', 'baz': 'quux'}

假设您对键 foo 对应的值感兴趣。您可以创建一个返回值的 ComputedProperty，这将由您的 BigQuery 导出获取（请注意，在添加 ComputedProperty 以填充新属性后，您必须保存所有模型实例）。

class MyModel(ndb.Model):

   blob = ndb.JsonProperty()
   foo = ndb.ComputedProperty(lambda self: self.blob.get('bar'))

obj = MyModel(blob=data)
obj.put()
obj.foo
'bar'