【问题标题】:Distributed training of a model i ML.NET?模型 i ML.NET 的分布式训练?
【发布时间】:2021-12-28 18:18:33
【问题描述】:

是否可以将 ML.NET 中的模型分布式训练/拟合到多个工作人员/服务器?我有大量的记录,其中包含多达 10 个或更多的特征,我想重新训练,但在一台计算机上完成需要很长时间。

【问题讨论】:

    标签: .net machine-learning ml.net


    【解决方案1】:

    目前没有在 ML.NET 中分发训练的内置方法。如果您希望在框架中包含它,您可以在 dotnet/machinelearning repo 中创建问题。

    您是否尝试过在单台 PC 上进行训练?我问的原因是因为 ML.NET 可以很好地处理大型数据集,因此在单台机器上进行训练可能足以满足您的场景。

    根据您要训练的模型类型,另一种选择是拆分您的数据并在各自的数据拆分上训练不同的模型。然后,获取各个模型的权重/模型参数并创建一个对它们进行平均的模型。我认为并非所有模型都为您提供它们的权重/模型参数,但这里有一些提供它们的模型以及如何提取它们的权重/模型参数。

    https://docs.microsoft.com/dotnet/machine-learning/how-to-guides/retrain-model-ml-net

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2019-06-02
      • 1970-01-01
      • 2020-04-02
      • 2019-06-21
      • 1970-01-01
      • 2021-03-22
      • 2021-01-19
      相关资源
      最近更新 更多