在 AWS GPU Graviton 实例上运行 Triton 服务器推理答案

【问题标题】：Running Triton Server Inference on AWS GPU Graviton instance在 AWS GPU Graviton 实例上运行 Triton 服务器推理
【发布时间】：2022-12-07 07:58:06
【问题描述】：

我目前正在 AWS 云上使用支持标准 GPU 的 EC2（非常昂贵）在生产环境中运行 Triton server。

我看到 these new GPU enabled Graviton instances 的运行成本可以降低 40%。但是，它们在 ARM（而非 AMD）上运行。这是否意味着我可以在此实例上运行标准版本的 Triton 服务器？

查看 Triton 服务器发行说明，我看到它可以在 jetson nano 上运行，它是 nvidia gpu ARM https://github.com/triton-inference-server/server/releases/tag/v1.12.0

这种方法会降低我的成本吗？我可以在这些引力子实例上运行 Triton 服务器吗？

使用这些实例性能会下降吗？

【问题讨论】：

标签： amazon-web-services gpu nvidia inference tritonserver

【解决方案1】：

查看Nvidia's NGC container repository，有为最新版本的 Arm64 构建的容器。从表面上看，它应该适用于 G5g。我建议您试用容器并测试它是否适合您的需要。如果不测试您的特定工作负载，就不可能预先知道性能会怎样，进而知道它更便宜。

【讨论】：