如何在 python 中加载大型 xml 数据集文件？

Question

您好，我正在使用 python 进行数据分析项目，我有一个大约 2.8GB 的​​ XML 文件，该文件太大而无法打开。我下载了帮助我打开文件的 EmEditor。问题是当我尝试像这样在 python google colaboratory 中加载文件时：

import xml.etree.ElementTree as ET
tree = ET.parse('dataset.xml')  //dataset.xml is the name of my file 
root = tree.getroot()

我得到的结果是 No such file or directory: 'dataset.xml' exists 。我的桌面上有我的 dataset.xml 文件，它可以使用 EmEditor 打开，这让我认为它可以通过 EmEditor 进行编辑和加载，但我不知道。感谢您帮助我在 python 中加载数据 谷歌实验室。

Answer 1

Google Colab 在来自 Google 的计算机上远程运行，无法访问您桌面上的文件。

要在 Python 中打开文件，您首先需要将文件传输到您的 colab 实例。有多种方法可以做到这一点，您可以在这里找到它们：https://colab.research.google.com/notebooks/io.ipynb

最简单的可能是这样的：

from google.colab import files

uploaded = files.upload()

for fn in uploaded.keys():
  print('User uploaded file "{name}" with length {length} bytes'.format(
      name=fn, length=len(uploaded[fn])))

尽管请记住，每次启动新的 colab 会话时，您都需要重新上传文件。这是因为 Google 想在您不使用的时候为他人使用该计算机，从而擦除计算机上的所有数据。