在 Keras / Tensorflow 中生成 ngram（bigram 或 trigram）

Question

我想从一系列标记中生成生成 n-grams：

bigram:: "1 3 4 5" --> { (1,3), (3,4), (4,5) }

搜索后发现this线程使用：

def find_ngrams(input_list, n):
  return zip(*[input_list[i:] for i in range(n)])

如果我在训练期间使用这段代码，我认为它会影响性能。所以我在寻找更好的选择。

Answer 1

如果需要生成字符串格式的bigram：

import tensorflow as tf

tf.enable_eager_execution()

sentence = ['this is example sentence']
x = tf.string_split(sentence).values[:-1] + ' ' + tf.string_split(sentence).values[1:]

# tf.Tensor([b'this is' b'is example' b'example sentence'], shape=(3,), dtype=string)

---

你也可以使用tensorflow-transform来生成ngram。

import tensorflow_transform as tft

tft.ngrams(tensor, (1,2), " ")

注意：在 2019 年 1 月 22 日之前，tensorflow-transform 仅支持 python 2。