我们可以看到 tensorflow GraphDef 中的 Send 节点和 Receive 节点吗？

Question

我们可以在tensorflow GraphDef中看到Send节点和Receive节点，还是使用python API？

我试试下面的代码

import tensorflow as tf

with tf.device("/gpu:0"):
    x = tf.constant(1.0)
with tf.device("/gpu:1"):
    y = tf.constant(2.0)
with tf.device("/cpu:0"):
    sum = tf.add(x, y)

graph_def = tf.get_default_graph().as_graph_def()
print(graph_def)

但graph_def 中没有发送/接收节点。图表中是否添加了任何发送/接收节点以将x 和y 传输到cpu？

Answer 1

send 和 recv 节点仅在您第一次尝试执行图形时添加到图形中，在调用 tf.Session.run()... 时，实际上，添加的 send 和 recv 节点集将取决于您在该调用中提供和获取的特定张量。

您可以通过将tf.RunOptions(output_partition_graphs=True) 传递给Session.run() 调用来查看在每个设备上执行的确切图表，包括发送和接收节点，如下所示：

options = tf.RunOptions(output_partition_graphs=True)
metadata = tf.RunMetadata()

sess.run(..., options=options, metadata=metadata)

for partition_graph_def in metadata.partition_graphs:
    print partition_graph_def  # Contains all the nodes that ran on a single device.