数据时间专业和批处理专业有什么区别？

Question

谁能解释一下time major和batch major的数据是什么意思，他们之间有什么区别？

Answer 1

试图用最简单的术语来表达：这些是相同数据的不同表示（或排列）。

2D 示例

例如，假设您有这样的数据（只是为了说明，不是真实数据）：

1 11 21 31
2 12 22 32
3 13 23 33
...
100 111 121 131

... 其中每一行对应一个训练输入，每一列对应一个不同的特征。矩阵的大小为(batch_size, features)，其中batch_size=100 和features=4。

接下来，在某些情况下，您可能会得到一个转置矩阵作为输入（例如，它是上一步的输出）：

1 2 3 ... 100
11 12 13 ... 111
21 22 23 ... 121
31 32 33 ... 131

在这种情况下，矩阵形状是(features, batch_size)。注意：数据本身不会改变。只有数组维度发生了变化：batch 在第一个示例中是 0 轴，在第二个示例中是 1 轴。另请注意，可以非常轻松有效地交换不同的演示文稿。在tensorflow中，可以用tf.transpose完成。

时间专业 vs 批量专业

当涉及到 RNN 时，张量通常会达到 3+ 级，但想法保持不变。如果输入为(batch_size, sequence_num, features)，则称为batch major，因为0轴是batch_size。如果输入为(sequence_num, batch_size, features)，则同样称为时间专业。 features 始终是最后一个维度（至少我不知道实际情况不是这样），因此命名没有更多变化。

根据网络结构，可能会特别期望批次或时间作为 0 轴，因此输入数据的格式很重要。并且根据之前的层，可以将这些表示中的任何一个输入到 RNN 中。因此，库函数或调用者可能需要从一种排列转换为另一种排列。据我所知，批处理专业是 tensorflow 和 keras 中的默认设置，因此它只是简单地归结为 RNN 之前的层生成的形状。

再一次：批次专业和时间专业表示之间存在一一对应关系。任何张量都可以表示为两者。但是对于特定的实现，可以预期或需要其中之一。