【发布时间】:2011-02-22 21:07:06
【问题描述】:
我有相当大量的 XML 数据(大约 200MB)要导入 App Engine 数据存储区。
到目前为止,我已经尝试创建模型并使用 cElementTree 解析器来加载实体,但这需要很长时间。
我还担心数据存储区处理这么多数据的能力如何,以及是否有更好的方法。
所以我的问题是,将 XML 解析到 App Engine 中的最快方法是什么,是否有更好的后端来处理存储数十万个实体/记录。
【问题讨论】:
-
App Engine 的数据存储区绝对可以处理这么多数据。您需要考虑的是您的数据需要哪些索引,因为不需要的索引会减慢写入速度并增加存储需求。您是在写入本地主机的数据存储(dev_appserver)还是远程数据存储?因为除非您使用 sqllite 选项,否则本地数据存储会非常慢。
-
很高兴知道。我目前正在使用本地开发服务器,所以这就是它这么慢的原因。
标签: python xml google-app-engine google-cloud-datastore