【问题标题】:Avoid Cloudfront Geographic restriction from restricting robots避免限制机器人的 Cloudfront 地理限制
【发布时间】:2021-11-25 17:20:36
【问题描述】:

我有一个 Cloudfront 发行版,它启用了仅允许巴西的地理限制。它工作正常,但最近我发现了一个问题:

例如,当有人试图在 Whatsapp 或 Facebook 上粘贴此分布下的网站链接时,它会受到限制,并且不会获得页面的元标题和元描述。

我在这里询问是否有任何解决方法,例如“允许机器人”,或者是否有一组来自 Facebook Co. 的 IP,我可以“允许”并确保机器人可以访问正确的网页.

【问题讨论】:

    标签: amazon-cloudfront


    【解决方案1】:

    很遗憾,没有办法解决这个问题

    CloudFront 的地理限制功能是一揽子限制,通常用于阻止在法律上应禁止访问您的内容的国家/地区,即由于流媒体法规或制裁。

    对于您的用例,我将使用AWS WAF 并为巴西设置geographic match rules。然后您可以排除在线找到的 Google、Twitter、Facebook 等爬虫 IP,这将解决您的问题。

    如果您让 CloudFront 从 S3 返回前端应用程序,另一种解决方案是在应用程序级别进行地理限制。

    从纯粹的 AWS CloudFront 角度来看,这(还没有?)可行。

    【讨论】:

    • WAF的问题是成本比较贵... :-(
    • @EliasSoares 是的,这很不幸,但如果您希望将您的分发限制在仅 1 个国家/地区同时允许国际爬虫,这是唯一的方法。
    • 谢谢。在我等待其他可能性之前,我会支持你的答案,否则我会检查它是否正确。
    猜你喜欢
    • 2022-11-01
    • 2017-05-15
    • 2013-12-29
    • 2017-12-26
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多