使用 REST API 和 SSL 自我证书的 Tensorflow 服务 GPU答案

【问题标题】：Tensorflow serving GPU using REST API and SSL self certificate使用 REST API 和 SSL 自我证书的 Tensorflow 服务 GPU
【发布时间】：2018-12-22 21:13:26
【问题描述】：

我正在尝试在 Centos 7 Docker 容器中安装带有 REST API 的 TensorFlow-gpu。但我无法为此找到确切的程序。我需要安装以下依赖项吗？

我已经安装了 cuda 9.0
cdDNN 7.4
NCCL 2.x

【问题讨论】：

我怀疑您的问题需要更具体。您已经完成了哪一步，您遇到了什么确切的问题？如果您可以将Dockerfile 添加到问题中，以及您是否有工作版本，那也会有所帮助。

标签： docker tensorflow centos7 tensorflow-serving

【解决方案1】：

我还没有开始使用 GPU 构建 tensorflow 服务。我处于研究阶段的中间〜在每篇文章中显示与Ubuntu安装相关的这个过程中，我试图在centos 7中安装..所以我没有任何docker文件..

希望这可以帮助您和我找到解决方案。

【讨论】：

【解决方案2】：

这是我用来构建 tensorflow-serving-runtime docker 映像的内容。

FROM nvidia/cuda:9.0-cudnn7-runtime-centos7

ARG TF_VERSION=1.9.0

RUN yum install -y  \
    yum-plugin-ovl \
    libgomp \
    ca-certificates \
    zip \
    unzip \
    curl \
        && \
    yum clean all

WORKDIR /usr/
RUN curl -sSL -o /usr/nccl_2.2.13-1-cuda9.0_x86_64.tgz http://some-of-my-net-disk/tensorflow-serving/lib/nccl_2.2.13-1-cuda9.0_x86_64.tgz && \    # Change your way to get nccl library here
    tar -xvf nccl_2.2.13-1-cuda9.0_x86_64.tgz &&\
    rm -f nccl_2.2.13-1-cuda9.0_x86_64.tgz

ENV LD_LIBRARY_PATH /usr/nccl_2.2.13-1+cuda9.0_x86_64/lib/:${LD_LIBRARY_PATH}

# Change your way to get tensorflow_model_server here
WORKDIR /serving
RUN curl -sSL -o /usr/local/bin/tensorflow_model_server http://some-of-my-net-disk/tensorflow-serving/bin/tf-serving-${TF_VERSION}/tensorflow_model_server_gpu-centos &&\
    chmod u+x /usr/local/bin/tensorflow_model_server

对我来说，这很好用。希望对您有所帮助。

【讨论】：

您好，感谢您的回复。我有一个小问题~我需要为 tensorflow 服务替换的 URL 是什么？
我编译然后将我的 tensorflow_model_server 上传到网盘。您可以在本地编译它并使用 COPY 将其复制到图像中。网址是可选的。
能否请您更新一下有关 SSL 自我证书的信息？我在你的 docker 文件中看到了 ca-certificate。