为大数据部分训练逻辑回归模型

Question

我的数据集在预处理后由 160 万行和 17000 列组成。我想对这些数据使用逻辑回归，但是每次加载数据集时都会终止该过程。有没有办法可以分块训练逻辑回归模型，每次迭代都会更新系数。 sklearn 是否支持任何技术来解决我的问题？

Answer 1

首先，请阅读this。在您的数据集上训练 LR 的时间是……有点高。 为避免这种情况，您可以在 sklearn 中使用 LR 的热启动参数并循环遍历您的数据块。

warm_start : bool, default: False 当设置为 True 时，重用解决方案 之前调用 fit 作为初始化，否则，只需擦除 以前的解决方案。对 liblinear 求解器无用。请参阅词汇表。

（来自here）

更准确地说：

warm_start 当在同一个数据集上重复拟合一个估计器时， 但是对于多个参数值（比如求值 最大化性能，如网格搜索），可以重用 模型从之前的参数值中学习到的方面，保存 时间。当 warm_start 为真时，现有的拟合模型属性 用于在后续调用 fit 时初始化新模型。

（来自here）