Torchtext 使令牌保持相同的顺序

Question

我有一个用于翻译文本的 seq2seq 神经网络。我需要句子在批处理期间保持不变，更准确地说，一个句子应该像一个不可分割的标记块。但是，看起来 Torchtext 提供的迭代器（BucketIterator 和 Iterator）不保持令牌的初始顺序。除了编写我自己的填充和批处理功能之外，是否有解决方案？

Answer 1

Iterator 和 BucketIterator 都应该保持标记的顺序，并且只打乱数据集中的句子。

您很可能输入张量的形状不正确。 TorchText 中的默认形状为：length × batch_size × features。如果你先有批次，然后有序列长度，那么你的句子就会被打乱。