Google 应用引擎 - 数据存储区读取操作突然增加

Question

我正在为自己维护一个基于谷歌应用引擎的博客应用程序（blog.wokanxing.info，它是中文的）。从第一次部署到现在已经有两三年了，我从来没有遇到过任何配额问题，因为它简单且访问次数少。

然而从上月初开始，我注意到该应用程序时不时报告500服务器错误，并且在管理面板中显示了一个神秘的快速消耗免费数据存储读取操作配额。 在一个小时内消耗了大约 10% 的免费读取配额（约 5k 操作），但我只计算了十几个涉及数据存储读取操作的请求，30 个顶部，这意味着平均 150 到每个请求 200 个读取操作，这对我来说听起来是不可能的。

几个月来我没有对我的代码库进行任何更改，我也没有看到数据存储或报价政策有任何变化。尽管如此，它也让我困惑如何进行这种消费。我经常使用 memcache，这让首页成为最大的玩家，它使用Post.all.order('-date').fetch(10, offset) 获取第一个线程。其他请求仅使用 Post.get_by_key_name 获取单个模型并迭代 post.comment_set。

对不起，我的英语很差，但谁能给我一些线索？谢谢。

Answer 1

从管理控制台检查您的日志。 不要只检查错误，而是检查日志中的所有类型的消息。

查找机器人/网络爬虫发出的请求。在大多数情况下，您可以通过“机器人”或“机器人”一词来检测此类“用户”（好吧，如果他们是诚实的......）。 您可以做的第一件事是编辑您的“机器人”文件。有关更多详细信息，请阅读How to identify web-crawler?。此外，GAE 对使用“机器人”文件有帮助。

如果失败，请尝试检测机器人/机器人使用的 IP 地址。使用 GAE 管理控制台将这些地址加入黑名单并再次检查您的配额消耗。