对象检测在笔记本电脑上运行非常缓慢答案

【问题标题】：Object detection running very slowly on laptop对象检测在笔记本电脑上运行非常缓慢
【发布时间】：2020-01-01 12:35:43
【问题描述】：

我逐步完成了以下教程：https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/running_pets.md

然后我尝试使用：https://github.com/tensorflow/models/blob/master/research/object_detection/object_detection_tutorial.ipynb 运行推理

这运行得非常快（每张图像大约 1 秒）。我注意到代码正在从http://download.tensorflow.org/models/object_detection/ssd_mobilenet_v1_coco_2017_11_17 拉下一个预训练模型（不是我在第一个教程中尝试过的模型）。

当我使用教程中导出的图表加载并执行推理时，大约需要 10 秒才能完成。我使用以下方法导出了图表：

python object_detection/export_inference_graph.py \
    --input_type image_tensor \
    --pipeline_config_path object_detection/samples/configs/faster_rcnn_resnet101_pets.config \
    --trained_checkpoint_prefix model.ckpt-${CHECKPOINT_NUMBER} \
    --output_directory exported_graphs

我正在使用此代码进行推理：

model = tf.saved_model.load(
        os.path.join(os.getcwd(), 'exported_graphs', 'saved_model'))
model = model.signatures['serving_default']

output_dict = model(input_tensor)

我正在运行带有 HighSierra 的 MacOS。我是否以次优方式导出了图表？我的机器是不是不够快？我仍然是一个初学者，所以任何方向都会非常有帮助 - 我可能会错过一些非常基本的东西。

【问题讨论】：

标签： tensorflow

【解决方案1】：

您首先运行的图表是ssd_mobilenet_v1，它花费了您大约 1 秒。 faster_rcnn_resnet101 的另一张图花了你大约 10 秒。他们两个是完全不同的架构。 faster_rcnn_resnet101 的运行速度将比 ssd_mobilenet_v1 慢。

【讨论】：

我可以使用 GPU 进行推理吗？还是只是在训练期间？
是的，您可以使用 GPU 进行推理和训练。
如果我想在推理期间为我的应用程序使用 GPU，那么最经济高效的提供商是什么？如果我每天进行几次推理，我似乎不需要每月支付 100 美元以上，不是吗？（接受你的回答）
在 aws 上有用于 GPU 推理的选项。还有一个按使用量付费的选项。只需查看 aws 网站。