【问题标题】:Splitting of a large XML file into small Chunks based on repeated elements基于重复元素将大型 XML 文件拆分为小块
【发布时间】:2017-12-25 16:35:10
【问题描述】:

考虑以下具有 500 MB 数据的 XML

<?xml version="1.0" encoding="UTF-8"?>
<Parents>
  <process  Child ="A">...</process>
  <process  Child="B">...</process>
  <process  Child="A">...</process>
  <process  Child="C">..</process>
  <process Child=...
  </process>
 <\Parents>

这个 xml 有多个子属性,带有标签“A”或“B”或其他我想为“A”、“B”、“C”或其他像 expamle_A.xml、example_B.xml 等创建单独的 XML . 下面的代码是为每个子属性创建单独的 xml 敌人,这意味着如果我们有 500 个子属性,它会创建 500 个 xml。

public static void main(String args[]) {
        try {
            VTDGen v = new VTDGen();
            if (v.parseFile("C:\\..\\example.xml", true)) {
                VTDNav vn = vg.getNav();
                AutoPilot ap = new AutoPilot(vn);
                ap.selectXPath("/Parents/child");
                int  chunk = 0;
                while (( ap.evalXPath()) != -1) {
                    long frag = vn.getElementFragment();
                    (new FileOutputStream("C:\\....\\result" + chunk + ".xml")).write(vn.getXML().getBytes(), (int) frag,
                            (int) (frag >> 32));
                    chunk++;
                }
            }
        } catch (Exception ex) {
            ex.printStackTrace();
        }
}

现在的事情是我想根据同一组的子属性拆分文件,对于一个实例,“A”的所有子项都应该在 example_A.xml 文件中,对于 B、C 和其他人来说应该是一样的。

【问题讨论】:

  • 问题是什么?
  • 哦抱歉真的错过了那部分,我想根据子名称溢出XML意味着expamle_A.xml应该包含的所有属性...
  • 看来您已经在使用 XPath。那又是什么问题??
  • @sharon 我无法将子节点分组到单个文件中,可以说这个文件有 30 个带有 Child="A" 的节点,所以它为此创建了 30 个文件,但我想要的是单个文件。
  • 好的,现在图片更清晰了,这应该成为“你到目前为止尝试了什么”的问题

标签: java xml xml-parsing stax vtd-xml


【解决方案1】:

这是对现有代码的非常简单的修改。实际上有多种方法可以做到这一点。我将只向您展示其中之一:通过使用 VTDNav 的 getAttrVal 方法()显式比较 attr val。

public static void main1(String args[]) {
    try {
        VTDGen vg = new VTDGen();
        if (vg.parseFile("C:\\..\\example.xml", true)) {
            VTDNav vn = vg.getNav();
            AutoPilot ap = new AutoPilot(vn);
            ap.selectXPath("/Parents/process");
            int  chunk = 0;
            FileOutputStream fopsA=(new FileOutputStream("C:\\....\\resultA" + chunk + ".xml"));
            fopsA.write("<Parent>\n".getBytes());
            FileOutputStream fopsB=(new FileOutputStream("C:\\....\\resultB" + chunk + ".xml"));
            while (( ap.evalXPath()) != -1) {
                long frag = vn.getElementFragment();
                int i=vn.getAttrVal("Child");
                if (i==-1) throw new NavException("unexpected result");
                if  (vn.compareTokenString(i,"A")==0){

                    fopsA.write(vn.getXML().getBytes(), (int) frag,
                        (int) (frag >> 32));

                }else if  (vn.compareTokenString(i,"B")==0){

                    fopsB.write(vn.getXML().getBytes(), (int) frag,
                            (int) (frag >> 32));
                }
                chunk++;
            }

            fopsA.write("</Parent>\n".getBytes());
            fopsB.write("</Parent>\n".getBytes());
        }
    } catch (Exception ex) {
        ex.printStackTrace();
    }

【讨论】:

  • 谢谢很好的解释,但唯一的问题是如果我们有 100 个不同的子属性,那么我们需要提供 100 个 else if 条件,比如 A、B、C、D 等等它在不同的文件中。它是否有任何通用方式,比如我可以提供一个循环来读取所有带有 A 的属性并将其写入文件中,类似地用于 B、C 等。
  • 如您所见,当然有办法使这个过程自动化……但这听起来更像是您的作业而不是我的作业。同意吗?
猜你喜欢
  • 2016-03-12
  • 1970-01-01
  • 2020-05-06
  • 1970-01-01
  • 2023-03-22
  • 2020-06-22
  • 1970-01-01
  • 1970-01-01
  • 2022-07-21
相关资源
最近更新 更多