我有两个 RandomForestClassifier 模型，我想将它们组合成一个元模型。他们都使用相似但不同的数据进行训练。我该怎么做？
rf1 #this is my first fitted RandomForestClassifier object, with 250 trees
rf2 #this is my second fitted RandomForestClassifier object, also with 250 trees
我想创建big_rf，将所有树组合成一个 500 棵树模型
【问题讨论】：
标签： python python-2.7 scikit-learn classification random-forest
我相信这可以通过修改 RandomForestClassifier 对象的 estimators_ 和 n_estimators 属性来实现。森林中的每棵树都存储为一个 DecisionTreeClassifier 对象，这些树的列表存储在estimators_ 属性中。为了确保没有不连续性，更改n_estimators 中的估计器数量也是有意义的。
这种方法的优点是您可以在多台机器上并行构建一堆小森林并将它们组合起来。
这是一个使用 iris 数据集的示例：
from sklearn.ensemble import RandomForestClassifier
from sklearn.cross_validation import train_test_split
from sklearn.datasets import load_iris
def generate_rf(X_train, y_train, X_test, y_test):
rf = RandomForestClassifier(n_estimators=5, min_samples_leaf=3)
rf.fit(X_train, y_train)
print "rf score ", rf.score(X_test, y_test)
return rf
def combine_rfs(rf_a, rf_b):
rf_a.estimators_ += rf_b.estimators_
rf_a.n_estimators = len(rf_a.estimators_)
return rf_a
iris = load_iris()
X, y = iris.data[:, [0,1,2]], iris.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=.33)
# in the line below, we create 10 random forest classifier models
rfs = [generate_rf(X_train, y_train, X_test, y_test) for i in xrange(10)]
# in this step below, we combine the list of random forest models into one giant model
rf_combined = reduce(combine_rfs, rfs)
# the combined model scores better than *most* of the component models
print "rf combined score", rf_combined.score(X_test, y_test)
【讨论】：
rf_a.estimators在上一行更新，它的长度就是我们想要的n_estimators
除了@mgoldwasser 解决方案之外，另一种方法是在训练您的森林时使用warm_start。在 Scikit-Learn 0.16-dev 中，您现在可以执行以下操作：
# First build 100 trees on X1, y1
clf = RandomForestClassifier(n_estimators=100, warm_start=True)
clf.fit(X1, y1)
# Build 100 additional trees on X2, y2
clf.set_params(n_estimators=200)
clf.fit(X2, y2)
【讨论】：
y1 以确定将要训练多少特征，而当您继续训练 y2 时，必须有相同数量的特征，因为它无法神奇地理解如何第一个矩阵的变量与第二个矩阵的变量对齐，除非它假设它们是相同的。