【发布时间】:2021-12-28 18:18:33
【问题描述】:
是否可以将 ML.NET 中的模型分布式训练/拟合到多个工作人员/服务器?我有大量的记录,其中包含多达 10 个或更多的特征,我想重新训练,但在一台计算机上完成需要很长时间。
【问题讨论】:
标签: .net machine-learning ml.net
是否可以将 ML.NET 中的模型分布式训练/拟合到多个工作人员/服务器?我有大量的记录,其中包含多达 10 个或更多的特征,我想重新训练,但在一台计算机上完成需要很长时间。
【问题讨论】:
标签: .net machine-learning ml.net
目前没有在 ML.NET 中分发训练的内置方法。如果您希望在框架中包含它,您可以在 dotnet/machinelearning repo 中创建问题。
您是否尝试过在单台 PC 上进行训练?我问的原因是因为 ML.NET 可以很好地处理大型数据集,因此在单台机器上进行训练可能足以满足您的场景。
根据您要训练的模型类型,另一种选择是拆分您的数据并在各自的数据拆分上训练不同的模型。然后,获取各个模型的权重/模型参数并创建一个对它们进行平均的模型。我认为并非所有模型都为您提供它们的权重/模型参数,但这里有一些提供它们的模型以及如何提取它们的权重/模型参数。
https://docs.microsoft.com/dotnet/machine-learning/how-to-guides/retrain-model-ml-net
【讨论】: