RandomizedSearchCV 需要更长的时间，但要搜索的元素更少

Question

我遇到了一个奇怪的问题，我正在使用 RandomizedSearchCV 来优化我的参数。

para_RS =     {"max_depth": randint(1,70),
               "max_features": ["log2", "sqrt"],
               "min_samples_leaf": randint(5, 50),
               "criterion": ["entropy","gini"],
               "class_weight":['balanced'],
               "max_leaf_nodes":randint(2,20)
              }
dt = DecisionTreeClassifier()

如果我包含所有这些参数，输出会在 2-3 分钟内出现，但是如果我删除所有参数并只保留以下参数，它将永远运行并且我必须杀死笔记本

para_RS =     {
               "max_depth": randint(1,70)
              }

如果我删除的更少，它需要很长时间才能运行（5-10 分钟）。 下面是代码：

if (randomsearch == True):
        tick = time.time()

        print("Random_Search_begin")
        rs= RandomizedSearchCV(estimator=dt, cv=5, param_distributions=para_RS,
                               n_jobs=4,n_iter =30, scoring="roc_auc",return_train_score=True)
        rs.fit(trainx_outer,trainy_outer)

        # other code irrelevant to the issue...

        print("Random_Search_end")

Answer 1

您可以关闭它，因为当我开始在分类器和 RandomSearchCV 中使用随机种子时，问题似乎消失了。感谢大家的帮助。

Answer 2

这是由于以下情况的随机性：

"max_depth": randint(1,70)
"max_leaf_nodes":randint(2,20)

randint(1, 70) 将返回一个介于 1 和 70 之间的整数。因此，在不同的运行期间，会生成不同的 max_depth 值。

所以可能会发生在某个运行期间，产生的价值非常高。 DecisionTreeClassifier 的速度受max_depth 的值和max_leaf_nodes 的影响。如果这些非常大，时间会非常长。

另外，我不确定您如何能够运行此代码。因为 RandomizedSearchCV 采用可迭代字典的参数网格。但是您的代码将为“max_depth”、“max_leaf_nodes”生成单个 int，而不是数组或可迭代。所以它应该抛出一个错误。您使用的是哪个版本的 sklearn？还是您在此处显示的代码与实际代码不同？