Bulk API 中 ES 中的 ES 日志摄取是否有限制？

Question

我有一个任务，我必须摄取 5000 万条日志。我一直在使用 ES 的批量 API，一次只能摄取 60K。我正在使用 Curl 来做到这一点。

这里是所有细节：

curl  -u prvn:prvn -H 'Content-Type: application/json' -XPOST localhost:9200/_bulk --data-binary @IltUId9adHYNO3wnqixVzaBulk.json

IltUId9adHYNO3wnqixVzaBulk.json 文件包含 Bulk API 格式的日志。

但是这里有个问题。 当我尝试一次摄取 70K 日志时，“什么都没有”发生。 Curl 命令终止没有任何问题，并且日志不会被摄取。

Answer 1

您可以一次性发送的最大数据量由http.max_content_length settings 控制，默认为 100MB。所以看起来 60K 行略低于该限制，而 70K 行略高于该限制。

您可以增加限制（通常不建议这样做），或者只发送 60K 的批次。