【问题标题】:Importing a large amount of XML data into Google App Engine将大量 XML 数据导入 Google App Engine
【发布时间】:2011-02-22 21:07:06
【问题描述】:

我有相当大量的 XML 数据(大约 200MB)要导入 App Engine 数据存储区。

到目前为止,我已经尝试创建模型并使用 cElementTree 解析器来加载实体,但这需要很长时间。

我还担心数据存储区处理这么多数据的能力如何,以及是否有更好的方法。

所以我的问题是,将 XML 解析到 App Engine 中的最快方法是什么,是否有更好的后端来处理存储数十万个实体/记录。

【问题讨论】:

  • App Engine 的数据存储区绝对可以处理这么多数据。您需要考虑的是您的数据需要哪些索引,因为不需要的索引会减慢写入速度并增加存储需求。您是在写入本地主机的数据存储(dev_appserver)还是远程数据存储?因为除非您使用 sqllite 选项,否则本地数据存储会非常慢。
  • 很高兴知道。我目前正在使用本地开发服务器,所以这就是它这么慢的原因。

标签: python xml google-app-engine google-cloud-datastore


【解决方案1】:

我会选择支持从 XML 源读取数据的 Bulk Loader
关于 XML 的大小,Datastore 处理这么多数据完全没有问题。

【讨论】:

猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2012-04-02
  • 2011-04-18
  • 1970-01-01
  • 2016-01-26
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多