【问题标题】:Connection failure envoyproxy grpc transcoded HTTP连接失败 envoyproxy grpc 转码 HTTP
【发布时间】:2021-08-13 21:16:56
【问题描述】:

我正在关注tutorial,以便将 grcp 服务转码为 HTTP(它在 Linux 上运行)。 envoy API 更新到 v3,所以我也关注了这个example。 我已将 envoy_config 更新为 API v3,因此它符合此版本的新要求。

但是,当我部署 docker 映像时,我在尝试访问 API 端点时收到错误消息。 例如,当我运行此命令 curl http://localhost:51051/greeting(这是生成的 API 的暴露端点)时,我收到以下错误:upstream connect error or disconnect/reset before headers. reset reason: connection failure,状态代码为 503

当我运行以下命令sudo docker ps 时,我可以看到Port 列中没有显示端口。 所以我尝试通过docker run -p ...docker run --expose ... 命令来映射/暴露它们,但它们仍然没有出现。

我现在有点迷茫,因为我根本不知道 docker,我什至不知道我的问题是否与端口暴露有关。

但无论如何,我不得不说 grpc 服务在 java Server/Client 上运行良好。只是 Web API (envoy) 不工作。

如果你想要更多的材料,我已经上传了整个项目here,所以你可以自己重现问题。

否则,这里是envoy-config.yml(暴露的API端点是地址#2:0.0.0.0:51051):

admin:
  access_log_path: /tmp/admin_access.log
  address:
    socket_address: { address: 0.0.0.0, port_value: 9901 }         #1

static_resources:
  listeners:
  - name: main-listener
    address:
      socket_address: { address: 0.0.0.0, port_value: 51051 }      #2
    filter_chains:
    - filters:
      - name: envoy.filters.network.http_connection_manager
        typed_config:
          "@type": type.googleapis.com/envoy.extensions.filters.network.http_connection_manager.v3.HttpConnectionManager # Explicit v3
          stat_prefix: grpc_json
          codec_type: AUTO
          route_config:
            name: local_route
            virtual_hosts:
            - name: local_service
              domains: ["*"]
              routes:
              - match: { prefix: "/" , grpc: {}}  # 3a grpc:{} means that requests are only forwarded if they are found in the grpc service definition, returning 404 for others
                route: { cluster: grpc-backend-services, timeout: { seconds: 60 } }   #3b
          http_filters:
          - name: envoy.filters.http.grpc_json_transcoder
            typed_config:
              "@type": type.googleapis.com/envoy.extensions.filters.http.grpc_json_transcoder.v3.GrpcJsonTranscoder
              proto_descriptor: "/data/greeting_service_definition.pb"             #4
              services: ["helloworld.HelloService"]                        #5
              print_options:
                add_whitespace: true
                always_print_primitive_fields: true
                always_print_enums_as_ints: false
                preserve_proto_field_names: false                                     #6
          - name: envoy.filters.http.router

  clusters:
  - name: grpc-backend-services                  #7
    connect_timeout: 1.25s
    type: logical_dns
    lb_policy: round_robin
    dns_lookup_family: V4_ONLY
    typed_extension_protocol_options:
      envoy.extensions.upstreams.http.v3.HttpProtocolOptions:
        "@type": type.googleapis.com/envoy.extensions.upstreams.http.v3.HttpProtocolOptions
        explicit_http_config:
          http2_protocol_options: {}
    load_assignment:
      cluster_name: grpc-backend-services
      endpoints:
      - lb_endpoints:
        - endpoint:
            address:
              socket_address:
                address: 127.0.0.1                #8
                port_value: 53000

这是运行protocdocker 的脚本:

#!/usr/bin/env bash

if ! [ -x "$(command -v protoc)" ] ; then
    echo "you do not seem to have the protoc executable on your path"
    echo "we need protoc to generate a service defintion (*.pb file) that envoy can understand"
    echo "download the precompiled protoc executable and place it in somewhere in your systems PATH!"
    echo "goto: https://github.com/protocolbuffers/protobuf/releases/latest"
    echo "choose:"
    echo "       for linux:   protoc-3.6.1-linux-x86_64.zip"
    echo "       for windows: protoc-3.6.1-win32.zip"
    echo "       for mac:     protoc-3.6.1-osx-x86_64.zip"
    exit 1
fi

# generate the greeting_service_definition.pb file that we can pass to envoy so that knows the grpc service
# we want to expose
protoc -I. -Isrc/main/proto --include_imports \
                --include_source_info \
                --descriptor_set_out=greeting_service_definition.pb \
                src/main/proto/HelloService.proto

if ! [ $? -eq 0 ]; then
    echo "protobuf compilation failed"
    exit 1
fi

# now we can start envoy in a docker container and map the configuration and service definition inside
# we use --network="host" so that envoy can access the grpc service at localhost:<port>
# the envoy-config.yml has configured envoy to run at port 51051, so you can access the HTTP/JSON
# api at localhost:51051


if ! [ -x "$(command -v docker)" ] ; then
    echo "docker command is not available, please install docker"
    echo "Install docker: https://store.docker.com/search?offering=community&type=edition"
    exit 1
fi

# check if sudo is required to run docker
if [ "$(groups | grep -c docker)" -gt "0" ]; then
    echo "Envoy will run at port 51051 (see envoy-config.yml)"
    docker run -it --rm --name envoy --network="host" \
             -v "$(pwd)/greeting_service_definition.pb:/data/greeting_service_definition.pb:ro" \
             -v "$(pwd)/envoy-config.yml:/etc/envoy/envoy.yaml:ro" \
             envoyproxy/envoy:v1.18.2
else
    echo "you are not in the docker group, running with sudo"
    echo "Envoy will run at port 51051 (see envoy-config.yml)"
    sudo docker run -it --rm --name envoy --network="host"\
             -v "$(pwd)/greeting_service_definition.pb:/data/greeting_service_definition.pb:ro" \
             -v "$(pwd)/envoy-config.yml:/etc/envoy/envoy.yaml:ro" \
             envoyproxy/envoy:v1.18.2
fi

【问题讨论】:

    标签: docker grpc envoyproxy


    【解决方案1】:

    503 状态是因为转码操作失败 - 看起来 envoy 无法连接到 gRPC 服务。

    您已将 envoy 配置为在 host.docker.internal:53000 连接到 gRPC - 如果您在 linux 上使用 docker 而不是在 Mac/Windows 上使用 docker-desktop,这可能是一个问题。

    而且java服务器监听端口8080,而不是53000,所以我认为你只需要改变它。

    [编辑]

    我确认“host.docker.internal”适用于您在 Ubuntu 18.04 上的项目,像这样调用 docker: docker run -it --rm --name envoy --add-host=host.docker.internal:host-bridge -p 51051:5105。在我测试的版本(f9e7c1)中,lb_endpoints 中需要的端口从 53000 更改为 8080。

    注意这是使用默认的“桥接”网络模式,因此需要端口映射,例如curl 访问转码后的 envoy 端点。

    您可以在“主机”模式网络中运行 envoy 容器 - 这有点简单,因为您可以通过 localhost curl 到 envoy 的转码端点(无端口映射),并且 envoy 也可以通过 localhost IP 访问 java 服务器.

    请参阅this answer,了解处理这些容器间依赖关系的方法的详细摘要。

    【讨论】:

    • 您如何建议我进行此更改?我在 Linux 上运行这个 docker 镜像,那么我应该使用什么地址呢? 127.0.0.1 ?并且将端口从 53000 更改为 8080 显然没有什么区别:/ 这可能是因为唯一暴露的端口不是这个,而是 51051(这是envoy-config.yml 中的地址#2)
    • AFAIK 主机名 host.docker.internal 在 Linux 上是可选的 - 请参阅 this answer。暴露的端口只存在于容器(在这种情况下是 envoy)——您也可以将 java 服务放入容器中,并使用 docker-compose 通过暴露的端口连接到 gRPC 服务。
    相关资源