如何使用 Python 在 Spark Structured Streaming 中查看特定指标

Question

我对 Spark 和 Python 非常陌生。我正在尝试查看 Spark Structured Streaming 中的任何指标（例如，processedRowsPerSecond），但我不知道该怎么做。

我在“Structured Streaming Programming Guide”中读到，使用 print(query.lastProgress) 您可以直接获取活动查询的当前状态和指标，但如果我编写它，我只能获取 @987654323 @ 一次。我的代码的最后一部分如下：

query = windowedCountsDF\
    .writeStream\
    .outputMode('update')\
    .option("truncate", "false") \
    .format('console') \
    .queryName("numbers") \
    .start()

print(query.lastProgress)

query.awaitTermination()

任何关于如何做到这一点的想法都将受到高度赞赏。

Answer 1

尝试：

while query.isActive:
    print("\n")
    print(query.status)
    print(query.lastProgress)
    time.sleep(30)

query.awaitTermination() 阻止 query.lastProgress。

Answer 2

这实际上取决于您想对该指标做什么。您的问题是您正在调用query.awaitTermination()，它会阻止任何其他活动。如果您想收集指标，那么您需要实现自己的等待循环，而不是调用query.awaitTermination()，如下所示：

query = ...

while not query.exception():
  if query.lastProgress:
    print(query.lastProgress) # do something with your data
  time.sleep(10) # wait 10 seconds..