【发布时间】:2021-08-11 17:23:30
【问题描述】:
我实际上在一家公司工作,为了改进 SEO,我正在尝试使用 prerender.io 设置我们的 angular (10) web 应用程序,以将渲染后的 html 发送给访问我们网站的爬虫。
应用程序使用 nginx 服务器进行 docker 化和公开。为了避免与现有的 nginx conf 冲突(在几次尝试使用它之后),我(重新)从 prerender.io 文档(https://gist.github.com/thoop/8165802)中提供的 .conf 文件开始配置,但我无法从 prerender 服务获得任何响应.
我总是面临: “502:坏网关”(客户端)和 当我使用 Googlebot 作为用户代理发送请求时,“无法解决(110:操作超时)”(服务器端)。
在构建并运行我的 docker 映像后,该网站正确地暴露在端口 80 上。当我使用 Web 浏览器时它是完全可访问的,但是当我尝试以机器人的身份发出请求时会发生错误(使用 curl -A Googlebot http://localhost:80)。
为了验证 prerender 服务是否在需要时正确接收我的请求,我尝试使用在 pipedream.com 上生成的 url,但请求永远不会到来。
我尝试使用不同的解析器(8.8.8.8 和 1.1.1.1),但没有任何改变。
我尝试增加resolver_timeout 让更多的时间,但仍然是同样的错误。
我尝试在容器中安装 curl,因为我的图像基于 alpine 图像,curl 已成功安装但没有任何变化。
这是我的 nginx 配置文件:
server {
listen 80 default_server;
root /usr/share/nginx/html;
index index.html;
location / {
try_files $uri @prerender;
}
location @prerender {
proxy_set_header X-Prerender-Token TOKEN_HERE;
set $prerender 0;
if ($http_user_agent ~* "googlebot|bingbot|yandex|baiduspider|twitterbot|facebookexternalhit|rogerbot|linkedinbot|embedly|quora link preview|showyoubot|outbrain|pinterest\/0\.|pinterestbot|slackbot|vkShare|W3C_Validator|whatsapp") {
set $prerender 1;
}
if ($args ~ "_escaped_fragment_") {
set $prerender 1;
}
if ($http_user_agent ~ "Prerender") {
set $prerender 0;
}
if ($uri ~* "\.(js|css|xml|less|png|jpg|jpeg|gif|pdf|doc|txt|ico|rss|zip|mp3|rar|exe|wmv|doc|avi|ppt|mpg|mpeg|tif|wav|mov|psd|ai|xls|mp4|m4a|swf|dat|dmg|iso|flv|m4v|torrent|ttf|woff|svg|eot)") {
set $prerender 0;
}
#resolve using Google's DNS server to force DNS resolution and prevent caching of IPs
resolver 8.8.8.8;
resolver_timeout 60s;
if ($prerender = 1) {
#setting prerender as a variable forces DNS resolution since nginx caches IPs and doesnt play well with load balancing
set $prerender "service.prerender.io";
rewrite .* /$scheme://$host$request_uri? break;
proxy_pass http://$prerender;
}
if ($prerender = 0) {
rewrite .* /index.html break;
}
}
}
这是我的 Dockerfile:
FROM node:12.7-alpine AS build
ARG environment=production
WORKDIR /usr/src/app
COPY package.json package-lock.json ./
RUN npm install
COPY . .
RUN npm run build -- --configuration $environment
# Two stage build because we do not need node-related things
FROM nginx:1.17.1-alpine
RUN apk add --no-cache curl
COPY --from=build /usr/src/app/dist/app /usr/share/nginx/html
COPY prerender-nginx.conf /etc/nginx/conf.d/default.conf
EXPOSE 80
希望你能有一个轨道或想法来帮助我
【问题讨论】:
标签: docker nginx http-proxy