使用 Google Data Flow 并行化循环操作

Question

我想运行一个包含数千个 CSV 文件和各种组合的 ARIMA 模型

使用 Pyflux 这是一些python代码..

index =0
#filename has file names of thousands of files
for csvfile in filenames:
data = pd.read_csv(csvfile)
model = pf.ARIMA(data=data,ar=4,ma=4,integ=0,target='sunspot.year')
x = model.fit("MLE")

list_of_results[index] = list_of_tuples[index] + (x.summary(),)

index++

我可以在 Big Query 中加载这些 CSV，并希望将这个将数据发送到 ARIMA 模型的操作并行化，因为通过 ARIMA 模型使用这些文件或 BigQuery 结果运行数据的操作可以并行运行，以便我可以保存在此操作上花费大量时间。

有没有办法在 Google 数据流中实现这一点？

Answer 1

如果所有 CSV 文件都在 GCS 上，您应该能够创建一个从 GCS 读取它们的简单管道，并在每个元素上并行运行您的模型。

请参阅ParDo 上的文档以并行处理所有元素：https://cloud.google.com/dataflow/model/par-do