【发布时间】:2017-12-24 03:14:24
【问题描述】:
我们的网站目前正被机器人抓取以访问 S3 上的内容。我正在尝试设置存储桶策略,以便除我们的域之外的任何其他引用者都无法访问 S3 URL。问题是它似乎没有检测到我们的域是引用者。这是我们在下面设置的存储桶策略。
{
"Version": "2008-10-17",
"Statement": [
{
"Sid": "AllowPublicRead",
"Effect": "Allow",
"Principal": {
"AWS": "*"
},
"Action": "s3:GetObject",
"Resource": "arn:aws:s3:::example/*",
"Condition": {
"StringNotLike": {
"aws:Referer": [
"https://www.example.com/*",
"http://www.example.com/*",
"https://*.example.com/*",
"https://*.example.com/*"
]
}
}
}
]
}
有谁知道为什么它不能将 www.example.com/blah/blah.html 等识别为推荐人?
当我通过我们的应用程序访问 URL 时,有没有办法查看 AWS 注册为引荐来源网址的内容?这将有助于排除故障。
【问题讨论】:
标签: amazon-web-services amazon-s3 web-scraping policy bucket