Fetch as google 无法调用 api答案

【问题标题】：Fetch as google is not able to call apiFetch as google 无法调用 api
【发布时间】：2018-02-20 07:38:08
【问题描述】：

我有一个反应应用程序。对于 SEO，我正在预览 google 如何查看我们的 react 应用程序。在我们的应用程序中，如果 API 失败，我们会在页面上显示错误消息。所以当我们 Fetch as google .. 我们看到同样的错误。这意味着 API 失败，但在浏览器中，它工作正常。我无法找到 Google 在获取 api 时出错的原因。

我们已对 API 响应进行了相应分类，并相应地对错误消息进行了分类。所以我们得到的错误意味着..错误代码介于 300 - 400 和任何高于 403 的范围内

是不是因为 CORS？或有反应的东西？有什么建议么？

【问题讨论】：

在黑暗中射击：您是否不允许将 robots.txt 中的 API URL 编入索引？
@str 是的，这是真的。将其删除并检查其是否正常工作？谢谢，但我们不需要索引 api。为什么要索引它？

标签： reactjs api google-crawlers

【解决方案1】：

您不允许在 robots.txt 文件中请求 API URL。这将阻止 Google 执行您的 JavaScript 代码，因为 API “无法访问”。

查看help center article that is linked from the "Fetch as Google" 页面：

Google 收到了您网站的响应并提取了网址，但无法访问该网页引用的所有资源，因为它们被 robots.txt 文件阻止。如果这只是一次提取，请进行提取并渲染。检查呈现的页面，看看是否有任何重要资源被阻止，这可能会阻止 Google 正确分析页面的含义。 如果重要资源被阻止，请取消阻止您拥有的 robots.txt 文件中的资源。对于被您不拥有的 robots.txt 文件阻止的资源，请与资源网站所有者联系，并要求他们解除对 Googlebot 的阻止。

您还可以看到这些页面只是“部分”获取，详细信息页面会准确告诉您哪些 URL 被阻止以及原因。

【讨论】：