使用 scikit-learn 并行生成随机森林

Question

主要问题：如何在 python 和 scikit-learn 中组合不同的随机森林？

我目前正在使用 R 中的 randomForest 包来使用弹性映射减少生成随机森林对象。这是为了解决分类问题。

由于我的输入数据太大而无法放入一台机器的内存中，因此我将数据采样到较小的数据集中并生成包含较小树集的随机森林对象。然后，我使用修改后的组合函数将不同的树组合在一起，以创建一个新的随机森林对象。这个随机森林对象包含特征重要性和最终的树集。这不包括树的 oob 错误或投票。

虽然这在 R 中运行良好，但我想在 Python 中使用 scikit-learn 做同样的事情。我可以创建不同的随机森林对象，但我没有任何方法可以将它们组合在一起形成一个新对象。谁能指点我一个可以结合森林的功能？这可以使用 scikit-learn 吗？

这里是关于如何在 R:Combining random forests built with different training sets in R 中处理此过程的问题的链接。

编辑：生成的随机森林对象应包含可用于预测的树以及特征重要性。

任何帮助将不胜感激。

Answer 1

当然，只是聚合所有的树，例如看看这个来自pyrallel的sn-p：

def combine(all_ensembles):
    """Combine the sub-estimators of a group of ensembles

        >>> from sklearn.datasets import load_iris
        >>> from sklearn.ensemble import ExtraTreesClassifier
        >>> iris = load_iris()
        >>> X, y = iris.data, iris.target

        >>> all_ensembles = [ExtraTreesClassifier(n_estimators=4).fit(X, y)
        ...                  for i in range(3)]
        >>> big = combine(all_ensembles)
        >>> len(big.estimators_)
        12
        >>> big.n_estimators
        12
        >>> big.score(X, y)
        1.0

    """
    final_ensemble = copy(all_ensembles[0])
    final_ensemble.estimators_ = []

    for ensemble in all_ensembles:
        final_ensemble.estimators_ += ensemble.estimators_

    # Required in old versions of sklearn
    final_ensemble.n_estimators = len(final_ensemble.estimators_)

    return final_ensemble

Answer 2

根据您的编辑，听起来您只是在询问如何提取特征重要性并查看随机森林中使用的单个树。如果是这样，这两个都是您的随机森林模型的属性，分别命名为“feature_importances_”和“estimators_”。可以在下面找到说明这一点的示例：

>>> from sklearn.ensemble import RandomForestClassifier
>>> from sklearn.datasets import make_blobs
>>> X, y = make_blobs(n_samples=10000, n_features=10, centers=100,random_state=0)
>>> clf = RandomForestClassifier(n_estimators=5, max_depth=None, min_samples_split=1, random_state=0)
>>> clf.fit(X,y)
RandomForestClassifier(bootstrap=True, compute_importances=None,
            criterion='gini', max_depth=None, max_features='auto',
            min_density=None, min_samples_leaf=1, min_samples_split=1,
            n_estimators=5, n_jobs=1, oob_score=False, random_state=0,
            verbose=0)
>>> clf.feature_importances_
array([ 0.09396245,  0.07052027,  0.09951226,  0.09095071,  0.08926362,
        0.112209  ,  0.09137607,  0.11771107,  0.11297425,  0.1215203 ])
>>> clf.estimators_
[DecisionTreeClassifier(compute_importances=None, criterion='gini',
            max_depth=None, max_features='auto', min_density=None,
            min_samples_leaf=1, min_samples_split=1,
            random_state=<mtrand.RandomState object at 0x2b6f62d9b408>,
            splitter='best'), DecisionTreeClassifier(compute_importances=None, criterion='gini',
            max_depth=None, max_features='auto', min_density=None,
            min_samples_leaf=1, min_samples_split=1,
            random_state=<mtrand.RandomState object at 0x2b6f62d9b3f0>,
            splitter='best'), DecisionTreeClassifier(compute_importances=None, criterion='gini',
            max_depth=None, max_features='auto', min_density=None,
            min_samples_leaf=1, min_samples_split=1,
            random_state=<mtrand.RandomState object at 0x2b6f62d9b420>,
            splitter='best'), DecisionTreeClassifier(compute_importances=None, criterion='gini',
            max_depth=None, max_features='auto', min_density=None,
            min_samples_leaf=1, min_samples_split=1,
            random_state=<mtrand.RandomState object at 0x2b6f62d9b438>,
            splitter='best'), DecisionTreeClassifier(compute_importances=None, criterion='gini',
            max_depth=None, max_features='auto', min_density=None,
            min_samples_leaf=1, min_samples_split=1,
            random_state=<mtrand.RandomState object at 0x2b6f62d9b450>,
            splitter='best')]