将大型 SQLite 表转换为 XML答案

【问题标题】：Converting large SQLite tables to XML将大型 SQLite 表转换为 XML
【发布时间】：2016-09-15 06:34:14
【问题描述】：

我正在尝试将大型 (-ish) 表转换为 XML。为此，我正在使用 DOM Parser，基于 Mkyong does here 的方式。

这适用于较小的表，但我在使用 7 列和大约 350 万行的表时遇到了问题。它只需要永远。您能否提出更好的方法或指出我可以改进代码的地方？

我不能使用除 Java 和/或 SQLite 之外的任何东西。也许我没有用正确的关键字搜索，但谷歌到目前为止没有找到任何好的东西。

public class Export {

public static void export() {
    String select = "Select * FROM individuen ORDER BY ID";
    DBController dbc = DBController.getInstance();
    dbc.initDBConnection();

    try {
        Statement stmt = DBController.connection.createStatement();
        ResultSet rs = stmt.executeQuery(select);
        DocumentBuilderFactory docFactory = DocumentBuilderFactory.newInstance();
        DocumentBuilder docBuilder = docFactory.newDocumentBuilder();

        // root elements
        Document doc = docBuilder.newDocument();
        Element rootElement = doc.createElement("individuen");
        doc.appendChild(rootElement);

        while (rs.next()) {
            Element person = doc.createElement("Person");
            rootElement.appendChild(person);

            // set attribute to person element
            Attr attr = doc.createAttribute("id");
            attr.setValue(Integer.toString(rs.getInt(1)));
            person.setAttributeNode(attr);

            Element geschlecht = doc.createElement("Geschlecht");
            geschlecht.appendChild(doc.createTextNode(Integer.toString(rs.getInt(2))));
            person.appendChild(geschlecht);

            [...]
        }

        System.out.println("oooooooooooout");
        // write the content into xml file
        TransformerFactory transformerFactory = TransformerFactory.newInstance();
        Transformer transformer = transformerFactory.newTransformer();
        DOMSource source = new DOMSource(doc);
        StreamResult result = new StreamResult(new File("file.xml"));

        // Output to console for testing
        // StreamResult result = new StreamResult(System.out);

        transformer.transform(source, result);

        System.out.println("Als XML exportiert!");

    } catch (ParserConfigurationException pce) {
        pce.printStackTrace();
    } catch (TransformerException tfe) {
        tfe.printStackTrace();
    } catch (SQLException e) {
        e.printStackTrace();
    }
}
}

【问题讨论】：

为什么要使用完整的 XML DOM，实际上是“只写”。忘记 XML 库，直接通过字符串操作写出 XML。您的代码会更长一些，但您会将大量数据拉入内存，而您只会写出这些数据而不会与之交互。
由于您要处理大量数据，我建议您不要使用 DOM。只是效率不够。直接使用 SAX/StAX，或者直接使用 InputStream 构建 XML 文件（如果需要 NIO，则为通道）。您也可以将所有工作拆分为多个部分并同时编写 xml 片段（您可以尝试 Fork/Join 框架）并将它们全部组合到一个文档中。无论如何，xml 不太适合存储大型数据库。它的大小、可维护性和处理速度真的让你的世界停止了。

标签： java xml sqlite

【解决方案1】：

感谢您的提示，我选择了 SAX/StAX，现在它运行良好。以下是可能正在寻找类似内容的任何人的部分代码：

public void export(Population pop) {
    String select = "Select * FROM individuen ORDER BY ID";
    DBController dbc = DBController.getInstance();
    dbc.initDBConnection();

    XMLOutputFactory factory = XMLOutputFactory.newInstance();
    XMLStreamWriter writer;

    try {
        Statement stmt = DBController.connection.createStatement();
        ResultSet rs = stmt.executeQuery(select);
        writer = factory.createXMLStreamWriter(new FileOutputStream("output.xml"));

        // Creating the XML-Header
        writer.writeStartDocument();
        // Root Element
        writer.writeStartElement("individuen");
        while (rs.next()) {

            // Element Person, encompasses the other Elements
            writer.writeStartElement("Peron");
            writer.writeAttribute("ID", rs.getString(1));

            // Element Geschlecht
            writer.writeStartElement("Geschlecht");
            writer.writeCharacters(rs.getString(2));
            writer.writeEndElement();

            // Element Alter
            writer.writeStartElement("Alter");
            writer.writeCharacters(rs.getString(3));
            writer.writeEndElement();

            // Element Alter
            writer.writeStartElement("Familienstand");
            writer.writeCharacters(rs.getString(4));
            writer.writeEndElement();

            // Element PartnerID
            writer.writeStartElement("PartnerID");
            writer.writeCharacters(rs.getString(4));
            writer.writeEndElement();

            // Element Bildungsstand
            writer.writeStartElement("Bildungsstand");
            writer.writeCharacters(rs.getString(5));
            writer.writeEndElement();

            // Closes Element Person
            writer.writeEndElement();
        }
        writer.writeEndDocument();
        writer.close();

    } catch (FileNotFoundException e) {
        e.printStackTrace();
    } catch (XMLStreamException e) {
        e.printStackTrace();
    } catch (SQLException e) {
        e.printStackTrace();
    }

【讨论】：