NextJS 动态页面无法爬取

Question

我使用 NextJS 和 ExpressJS 作为服务器。

我已经实现了自定义路由，例如 nextjs (https://nextjs.org/docs#custom-routes-using-props-from-url) 文档中的示例。 我也在使用 getInitialProps 进行服务器端渲染。

我还使用Screaming Frog SEO Spider作为爬虫来测试它是否能够爬取我的动态页面（它不能爬取我的动态页面，它只会爬取静态页面）。 我不知道我是否做错了什么，但我只是按照自定义路线的文档进行操作。

我真的希望爬虫抓取我的动态页面，因为它会影响我们网站的 SEO。

谢谢

Answer 1

有一个常见的 SEO 建议不要构建动态网站。 我不是 NextJS 和 ExpressJS 方面的专家。但总的来说，我可以说大多数爬虫不喜欢动态网站。要抓取动态网站，他们需要执行 JavaScript，这需要时间和资源。据我所知谷歌可以抓取动态网站，请关注link。因此，Googlebot 有可能成功抓取您的网站。请不要为 SEO 构建 SPA。 关于尖叫青蛙 SEO 蜘蛛。据我所知，它也可以像 Googlebot 一样使用 Chromium。请阅读文档。