从 Compute Engine 发布到 Cloud Pub/Sub 主题时的 DEADLINE_EXCEEDED

Question

我有一个在 Google Compute Engine 实例中运行的 Java 应用程序。我正在尝试使用 google-cloud library 将消息发布到 Cloud Pub/Sub 主题，但我收到了 DEADLINE_EXCEEDED 异常。代码如下所示：

PubSub pubSub = PubSubOptions.getDefaultInstance().toBuilder()
            .build().getService();

String messageId = pubSub.publish(topic, message);

结果是：

com.google.cloud.pubsub.PubSubException：io.grpc.StatusRuntimeException：DEADLINE_EXCEEDED

documentation 表明此响应通常是由网络问题引起的。我需要在“网络”部分进行配置以允许 Compute Engine 访问 Pub/Sub 吗？存在默认允许内部防火墙规则。

我已将我的 Compute Engine 服务帐号设为 Pub/Sub 主题权限的编辑者和发布者。

应用驻留在 Container Engine 管理的 Compute Engine 实例内的 Docker 容器中。 Pub/Sub 主题和 Compute Engine 实例在同一个项目中。我可以使用 google-cloud 库连接到其他云平台服务，例如 Datastore。我还可以从同一个项目中的 App Engine 实例发布到同一个 Pub/Sub 主题。

使用 google-api-services-pubsub API 库而不是 google-cloud 会更幸运吗？

Answer 1

我现在有同样的问题，并在google-cloud-java issue tracker on GitHub 上创建了一个问题，因为我在那里找不到它。

我们从旧的 google-api-services-pubsub libraries（有效）切换到 new ones 并得到了异常。我们的 Java 应用也在 Compute Engine 实例上运行。

Answer 2

虽然这可能是由网络问题（客户端无法连接到服务）引起的，但更典型的原因是发布速度过快。在一个紧密的循环中调用发布方法是很常见的，它可以在一个典型的请求返回的时间内创建数千到数十万个。机器上的网络堆栈一次只会发送这么多请求，而其他请求则等待执行。如果你的机器能够发送 N 个并行请求，并且每个请求耗时 0.1s，那么一分钟你可以发送 600N 个请求。如果您以比该速度更快的速度发布，则客户端上的所有其他请求都将超时，并显示 DEADLINE_EXCEEDED。

您可以通过查看 Cloud Monitoring 中的服务器端指标来确认这一点：您不会看到这些请求，而只会看到成功的请求。这些请求的速率将告诉您机器的吞吐能力。

解决方案是发布者流控制：有效地限制调用发布方法的速度。您可以通过简单的配置在大多数客户端库中执行此操作。有关详细信息，请参阅您的客户端库的 the documentation for the client library 发布者 API。例如。在Java 中，这是Publisher BatchingSettings 的一个名为FlowControlSettings 的属性。在Python 中，这是直接在 PublisherOptions 中设置的。