为什么 Applebot 无法抓取我的网站？答案

【问题标题】：Why can't Applebot crawl my website?为什么 Applebot 无法抓取我的网站？
【发布时间】：2021-06-04 00:15:25
【问题描述】：

我正在尝试为 iOS 应用设置通用链接。

当我尝试使用错误消息验证文件 apple-app-site-association 时，Apple search validator 一直失败：

Unable to parse that webpage URL. Try a different URL.

文件内容是正确的，我尝试了其他网站已经验证过的文件，但爬虫似乎无法访问该网站。

域和网站托管在 1and1.com 的共享服务器上，没有 SSL。该文件未签名。

知道这是为什么吗？

【问题讨论】：

【解决方案1】：

这是“App Search API 验证工具”，而不是“通用链接验证工具”（Apple 不提供该工具）。此工具的结果与通用链接是否有效无关。

也就是说，您必须拥有 SSL 才能使通用链接正常工作。这是第一个要求。如果您不能/不想进行此设置，请查看外部链接托管服务，例如 Firebase Dynamic Links 或 Branch.io（完全披露：我在 Branch 团队）

【讨论】：

【解决方案2】：

提到“您必须拥有 SSL 才能使通用链接正常工作。这是第一要务。”这不再是要求。

如果您的应用在 iOS 9 或更高版本中运行并且您使用 HTTPS 来提供 apple-app-site-association 文件，您可以创建一个使用 application/json MIME 类型的纯文本文件，您不需要签名。

【讨论】：