我的余弦相似度有什么问题？张量流

Question

我想在我的神经网络中使用余弦相似度，而不是标准的点积。

我查看了dot product 和cosine similarity。

在上面的示例中，他们使用

a = tf.placeholder(tf.float32, shape=[None], name="input_placeholder_a")
b = tf.placeholder(tf.float32, shape=[None], name="input_placeholder_b")
normalize_a = tf.nn.l2_normalize(a,0)        
normalize_b = tf.nn.l2_normalize(b,0)
cos_similarity=tf.reduce_sum(tf.multiply(normalize_a,normalize_b))
sess=tf.Session()
cos_sim=sess.run(cos_similarity,feed_dict={a:[1,2,3],b:[2,4,6]})

但是，我尝试过自己的方式

x = tf.placeholder(tf.float32, [None, 3], name = 'x') # input has 3 features
w1 = tf.placeholder(tf.float32, [10, 3], name = 'w1') # 10 nodes in the first hidden layer
cos_sim = tf.divide(tf.matmul(x, w1), tf.multiply(tf.norm(x), tf.norm(w1)))
with tf.Session() as sess:
      sess.run(cos_sim, feed_dict = {x = np.array([[1,2,3], [4,5,6], [7,8,9], w1: np.random.uniform(0,1,size = (10,3) )})

我的方法错了吗？另外，矩阵乘法中发生了什么？我们实际上是在为不同样本的输入（在一个特征内）乘以一个节点的权重吗？

Answer 1

您的示例中存在尺寸问题，我认为w1 应该具有[3, 10] 形状。但是忽略这些小细节，您的实现似乎是正确的。

不过，我建议使用更接近上面示例的方法，即使用tf.nn.l2_normalize，因为它保证返回与输入相同的形状，因此可以灵活地选择标准化的维度。此外，tf.nn.l2_normalize 在分母接近于零时提供数值稳定性，并且可能更有效。

a = tf.placeholder(tf.float32, shape=[None, 3], name="input_placeholder_a")
b = tf.placeholder(tf.float32, shape=[3, 10], name="input_placeholder_b")

normalize_a = tf.nn.l2_normalize(a, dim=0)
normalize_b = tf.nn.l2_normalize(b, dim=0)
cos_similarity=tf.matmul(normalize_a, normalize_b)

sess=tf.Session()
cos_sim=sess.run(cos_similarity,feed_dict={
  a: np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]),
  b: np.arange(30).reshape([3, 10])
})
print cos_sim

它给出的结果和你的一样。