基于 uint32 id 以 x 长度的块解析流

Question

我几乎没有 C/Qt 经验，并且有一个需要移植到 Python 的小型解析器。有谁能够解释我如何在 Python 中实现以下内容？我明白结果是什么，只是不明白如何实现 uint32 实例化和移位，从而导致基于 4 字节“id”的不同部分长度。我希望只使用本机 Python 3.5+ 包来解析它，如果它使打字方便，numpy 或类似的就可以了。

QDataStream stream(item);
stream.setByteOrder(QDataStream::LittleEndian);
Items parts;
while (!stream.atEnd()) {
    quint32 partId;
    stream >> id;
    char *bytes;
    uint length;
    stream.readBytes(bytes, length);
    parts.append(QPair<quint32, QByteArray>(id, QByteArray(bytes, length)));
    delete bytes;
}
return parts;

Answer 1

由于python中的数值类型与C++的数值类型不匹配，所以QDataStream不再使用“>>”运算符来获取值，而是具有特定的方法，例如readUInt32。

考虑以下生成数据的代码：

#include <QDataStream>
#include <QFile>
#include <QDebug>

int main()
{
    QFile file("file.dat");
    if(!file.open(QIODevice::WriteOnly)){
        qDebug() << file.error() << file.errorString();
        return EXIT_FAILURE;
    }
    QDataStream stream(&file);
    stream.setByteOrder(QDataStream::LittleEndian);
    stream.setVersion(QDataStream::Qt_5_15);

    QVector <QPair<quint32, QByteArray>> data;
    data.append({1, "One"});
    data.append({2, "Two"});
    data.append({3, "Three"});

    for(const QPair<quint32, QByteArray> & d: qAsConst(data)){
        stream << d.first;
        stream.writeBytes(d.second.constData(), d.second.size());
    }
    return EXIT_SUCCESS;
}

以下代码获取数据：

import sys

from PyQt5.QtCore import QByteArray, QDataStream, QFile, QIODevice


file = QFile("file.dat")
if not file.open(QIODevice.ReadOnly):
    print(file.error(), file.errorString())
    sys.exit(-1)

items = []

stream = QDataStream(file)
stream.setByteOrder(QDataStream.LittleEndian)
stream.setVersion(QDataStream.Qt_5_15)
while not stream.atEnd():
    id_ = stream.readUInt32()
    data = stream.readBytes()
    items.append((id_, QByteArray(data)))
print(items)

输出：

[(1, PyQt5.QtCore.QByteArray(b'One')), (2, PyQt5.QtCore.QByteArray(b'Two')), (3, PyQt5.QtCore.QByteArray(b'Three'))]

如果使用 PySide2，那么实现会发生一些变化。

import sys

from PySide2.QtCore import QByteArray, QDataStream, QFile, QIODevice


file = QFile("file.dat")
if not file.open(QIODevice.ReadOnly):
    print(file.error(), file.errorString())
    sys.exit(-1)

items = []

stream = QDataStream(file)
stream.setByteOrder(QDataStream.LittleEndian)
stream.setVersion(QDataStream.Qt_5_15)
while not stream.atEnd():
    id_ = stream.readUInt32()
    data = QByteArray()
    stream >> data
    items.append((id_, data))
print(items)

输出：

[(1, PySide2.QtCore.QByteArray(b'One')), (2, PySide2.QtCore.QByteArray(b'Two')), (3, PySide2.QtCore.QByteArray(b'Three'))]

更新：

如果不使用 QDataStream 是无法获取数据的，因为 Qt 对每种类型的数据都使用自己的格式，而且这种格式不是一个标准，每个版本都可以在不通知的情况下更改。为此，必须指明所使用的QDataStream的字节序和版本。

更新 2

假设 QDataStream 用于打包 quint32 和字节的格式是 QDataStream.Qt_5_15 那么可能的实现是：

import sys
import struct

items = []

with open("file.dat", "rb") as f:
    while True:
        try:
            (id_,) = struct.unpack("I", f.read(4))
            (length,) = struct.unpack("I", f.read(4))
            data = f.read(length)
        except (EOFError, struct.error) as e:
            break
        else:
            items.append((id_, data))

print(items)

输出：

[(1, b'One'), (2, b'Two'), (3, b'Three')]