【问题标题】:What could be the cause of this error "could not be resolved (110: Operation timed out)"?此错误“无法解决(110:操作超时)”的原因可能是什么?
【发布时间】:2021-08-11 17:23:30
【问题描述】:

我实际上在一家公司工作,为了改进 SEO,我正在尝试使用 prerender.io 设置我们的 angular (10) web 应用程序,以将渲染后的 html 发送给访问我们网站的爬虫。

应用程序使用 nginx 服务器进行 docker 化和公开。为了避免与现有的 nginx conf 冲突(在几次尝试使用它之后),我(重新)从 prerender.io 文档(https://gist.github.com/thoop/8165802)中提供的 .conf 文件开始配置,但我无法从 prerender 服务获得任何响应.

我总是面临: “502:坏网关”(客户端)和 当我使用 Googlebot 作为用户代理发送请求时,“无法解决(110:操作超时)”(服务器端)。

在构建并运行我的 docker 映像后,该网站正确地暴露在端口 80 上。当我使用 Web 浏览器时它是完全可访问的,但是当我尝试以机器人的身份发出请求时会发生错误(使用 curl -A Googlebot http://localhost:80)。

为了验证 prerender 服务是否在需要时正确接收我的请求,我尝试使用在 pipedream.com 上生成的 url,但请求永远不会到来。

我尝试使用不同的解析器(8.8.8.8 和 1.1.1.1),但没有任何改变。

我尝试增加resolver_timeout 让更多的时间,但仍然是同样的错误。

我尝试在容器中安装 curl,因为我的图像基于 alpine 图像,curl 已成功安装但没有任何变化。

这是我的 nginx 配置文件:

server {
    listen 80 default_server;
    root /usr/share/nginx/html;
 
    index  index.html;

    location / {
        try_files $uri @prerender;
    }
 
    location @prerender {
        proxy_set_header X-Prerender-Token TOKEN_HERE;
        
        set $prerender 0;
        if ($http_user_agent ~* "googlebot|bingbot|yandex|baiduspider|twitterbot|facebookexternalhit|rogerbot|linkedinbot|embedly|quora link preview|showyoubot|outbrain|pinterest\/0\.|pinterestbot|slackbot|vkShare|W3C_Validator|whatsapp") {
            set $prerender 1;
        }
        if ($args ~ "_escaped_fragment_") {
            set $prerender 1;
        }
        if ($http_user_agent ~ "Prerender") {
            set $prerender 0;
        }
        if ($uri ~* "\.(js|css|xml|less|png|jpg|jpeg|gif|pdf|doc|txt|ico|rss|zip|mp3|rar|exe|wmv|doc|avi|ppt|mpg|mpeg|tif|wav|mov|psd|ai|xls|mp4|m4a|swf|dat|dmg|iso|flv|m4v|torrent|ttf|woff|svg|eot)") {
            set $prerender 0;
        }
        
        #resolve using Google's DNS server to force DNS resolution and prevent caching of IPs
        resolver 8.8.8.8;
        resolver_timeout 60s;
 
        if ($prerender = 1) {
            
            #setting prerender as a variable forces DNS resolution since nginx caches IPs and doesnt play well with load balancing
            set $prerender "service.prerender.io";
            rewrite .* /$scheme://$host$request_uri? break;
            proxy_pass http://$prerender;
        }
        if ($prerender = 0) {
            rewrite .* /index.html break;
        }
    }
}

这是我的 Dockerfile:

FROM node:12.7-alpine AS build
ARG environment=production

WORKDIR /usr/src/app
COPY package.json package-lock.json ./
RUN npm install
COPY . .
RUN npm run build -- --configuration $environment
# Two stage build because we do not need node-related things
FROM nginx:1.17.1-alpine

RUN apk add --no-cache curl
COPY --from=build /usr/src/app/dist/app /usr/share/nginx/html
COPY prerender-nginx.conf /etc/nginx/conf.d/default.conf

EXPOSE 80

希望你能有一个轨道或想法来帮助我

【问题讨论】:

    标签: docker nginx http-proxy


    【解决方案1】:

    错误的部分是

    curl -A Googlebot http://localhost:80
    

    prerender 的工作方式是访问您发送到原始网络服务器的 fqdn。所以 localhost:80 将无法访问。

    尝试传递正确的主机名,有点

    curl -H "Host: accessiblefrom.public.websitefqdn:80"  http://localhost:80
    

    查看示例 https://github.com/Voronenko/self-hosted-prerender

    【讨论】:

      猜你喜欢
      • 2011-11-18
      • 2019-02-28
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2023-03-24
      • 1970-01-01
      相关资源
      最近更新 更多