如何在 Tensorflow 中删除张量中的重复值？

【问题标题】：How to remove duplicate values in tensor in Tensorflow?如何在 Tensorflow 中删除张量中的重复值？
【发布时间】：2019-11-21 21:22:12
【问题描述】：

我最近正在处理词嵌入，这是我现在面临的问题。我将在张量中有重复的值。假设我在 shape(?, 5) 中有以下 2D 张量

输入

[[1 2 4 2 6]
 [7 2 6 1 2]
 [7 2 6 1 2]
 [3 9 3 9 2]
 [3 9 3 9 2]
 [4 9 8 1 6]
 [4 9 8 1 6]]

预期输出

[[1 2 4 2 6]
 [7 2 6 1 2]
 [3 9 3 9 2]
 [4 9 8 1 6]]

我在社区做一些调查。我仍然无法具体解决这个问题。有什么方法可以解决tensorflow中的重复问题吗？

【问题讨论】：

【解决方案1】：

你可以使用tf.unique(x)

u, idx = tf.unique(x)
print(u)
# [[1 2 4 2 6]
# [7 2 6 1 2]
# [3 9 3 9 2]
# [4 9 8 1 6]]

【讨论】：

嗨@Marceline，感谢您的回复。我遵循了您的策略，并从 TensorFlow 获得了以下错误跟踪。 Shape must be rank 1 but is rank 2 for 'Unique_76' (op: 'Unique') with input shapes: [7,5]. 看起来我们必须让 x 处于 rank 1 中，因为 tf.unique() 不接受 rank2 Tensor 作为输入。你能分享一下你是如何在这个问题中应用你的策略的吗？
目前似乎 tf.unique 仅适用于一维张量。你解决了吗？ @Heng-ShiouSheu