如何提高 Google App Engine 上 request_logs 的吞吐量

Question

从 App Engine 下载日志并非易事。请求是批处理的； appcfg.py 不使用普通文件 IO，而是使用临时文件（按时间倒序），它最终附加到本地日志文件；追加时，查找“哨兵”的需要使得日志轮换变得困难，因为必须为appcfg.py 留下足够的旧日志以记住它停止的位置。最后，Google 会在一段时间后删除旧日志（我使用的应用为 20 分钟）。

随着应用程序的扩展和日志生成率的增长，如何提高获取日志的速度，使appcfg.py 不落后？

Answer 1

您可以增加每个请求的日志批量大小。在最新的 SDK (1.3.1) 中，查看 google_appengine/google/appengine/tools/appcfg.py 和 861 类似（RequestLogLines 类的 RequestLogLines 方法）。可以修改“limit”参数。

我用的是 1000，效果很好。