将多个句子传递给 BERT？

Question

我有一个包含段落的数据集，我需要将其分为两类。这些段落通常有 3-5 句话长。其中绝大多数都少于500字。我想利用BERT来解决这个问题。

我想知道我应该如何使用 BERT 来生成这些段落的向量表示，尤其是将整个段落传递给 BERT 是否可以？

已经对相关问题here和here进行了翔实的讨论。这些讨论集中在如何使用 BERT 来表示整个文档。就我而言，这些段落并没有那么长，并且确实可以在不超过其最大长度 512 的情况下传递给 BERT。但是，BERT 接受了句子的训练。句子是相对独立的意义单位。我想知道向 BERT 中输入多个句子是否与模型的设计目的根本不冲突（尽管这似乎是定期进行的）。

Answer 1

我认为你的问题是基于误解。即使BERT paper超过987654322 @ sentence，它也不再是语言句子。本文将句子定义为

任意跨度的连续文本，而不是实际的语言句子。

因此，将整个段落传递给BERT，以及它们可以处理的原因。