TensorFlow 如何使用我的 GPU？

Question

所以我在 tensorflow 中训练一个 NN，同时我正在监控我的 GPU 负载。

从截图中我看到 Tensorflow 基本上只使用 GPU 内存，这正常吗？我认为他们利用我所有的 cuda 核心来执行一些计算等。

有没有人详细了解这些东西？

提前致谢！

代码来了...

import tensorflow as tf
tf.logging.set_verbosity(tf.logging.INFO)

# ... some file reading here 

def train_input_fn(features, labels, batch_size):
    return tf.estimator.inputs.pandas_input_fn(
        x = features,
        y = labels,
        num_epochs = 1,
        shuffle = True,
        batch_size = batch_size)

def eval_input_fn(features, labels):
    return tf.estimator.inputs.pandas_input_fn(
        x = features,
        y = labels,
        num_epochs = 1,
        shuffle = True)

def pred_input_fn(features):
    return tf.estimator.inputs.pandas_input_fn(
        x = features,
        num_epochs = 1,
        shuffle = False)

model_dir = './DNN_Linear_Combined_Regressor'

file_writer = tf.summary.FileWriter(model_dir)

estimator = tf.estimator.DNNLinearCombinedRegressor(
    model_dir = model_dir,
    linear_feature_columns = wide_columns,
    dnn_feature_columns = deep_columns,
    dnn_optimizer = tf.train.AdamOptimizer(learning_rate=0.001),
    dnn_hidden_units = [64,64,64,8], 
    batch_norm = True,
    dnn_dropout = 0.1
)

train_spec = tf.estimator.TrainSpec(input_fn = train_input_fn(train, y_train, batch_size=5000))
eval_spec = tf.estimator.EvalSpec(input_fn = eval_input_fn(valid, y_valid))

tf.estimator.train_and_evaluate(estimator, train_spec, eval_spec)

Answer 1

根据 TensorFlow 文档here，默认情况下，TensorFlow 将使用与您的 GPU 内存一样多的内存。

另外，您可以使用以下代码检查终端中哪个张量计算正在使用哪个设备：

# Creates an estimator with log_device_placement set to True.
sess_config = tf.ConfigProto(log_device_placement=True)
run_config = tf.estimator.RunConfig(session_config = sess_config)
your_classifier = tf.estimator.Estimator(config=run_config)

你会看到这样的东西：

Device mapping:
/job:localhost/replica:0/task:0/device:GPU:0 -> device: 0, name: Tesla K40c, pci bus
id: 0000:05:00.0
b: /job:localhost/replica:0/task:0/device:GPU:0
a: /job:localhost/replica:0/task:0/device:GPU:0
MatMul: /job:localhost/replica:0/task:0/device:GPU:0

GPU:0 是您的默认 GPU。

Answer 2

Cuda 是一个允许您在 GPU 上运行 C/C++ 代码的平台。 Cuda 核心是 GPU 的一部分。所以它使用 Cuda 核心进行计算。

Tensorflow 使用 GPU 是正常的。与 CPU 相比，矩阵加法、乘法等特殊运算可以在 GPU 上非常高效地执行（因为并行性和硬件加速）。