我有一个 [66k, 56k] 大小（行、列）的 csv 文件。它是一个稀疏矩阵。我知道 numpy 可以处理那个大小的矩阵。想知道根据大家的经验，scikit-learn算法能轻松处理多少特征？
【问题讨论】：
标签： python numpy machine-learning scipy scikit-learn
取决于估算器。在这种规模下，线性模型仍然表现良好，而 SVM 可能需要很长时间才能训练（并且忘记随机森林，因为它们无法处理稀疏矩阵）。
我个人使用LinearSVC、LogisticRegression 和SGDClassifier 处理大小约为 300k × 330 万的稀疏矩阵，没有任何问题。请参阅@amueller 的scikit-learn cheat sheet，为手头的工作选择合适的估算器。
全面披露：我是一名 scikit-learn 核心开发人员。
【讨论】：
如果您需要经常训练模型，一些线性模型（回归、SGD、贝叶斯）可能是您的最佳选择。
尽管在运行任何模型之前，您可以尝试以下操作
1) 特征缩减。您的数据中是否有可以轻松删除的特征？例如，如果您的数据是基于文本或评级的，则有许多已知选项可用。
2) 学习曲线分析。也许您只需要一小部分数据来训练模型，然后您只需要适应您的数据或获得微小的准确性提高。
这两种方法都可以让您大大减少所需的训练数据。
【讨论】：