如何保存和加载 xgboost 模型？ [关闭]

Question

在XGBoost guide的链接上：

训练完成后，模型就可以保存了。

bst.save_model('0001.model')

模型及其特征图也可以转储到文本文件中。

# dump model
bst.dump_model('dump.raw.txt')
# dump model with feature map
bst.dump_model('dump.raw.txt', 'featmap.txt')

可以按如下方式加载保存的模型：

bst = xgb.Booster({'nthread': 4})  # init model
bst.load_model('model.bin')  # load data

我的问题如下。

1. save_model 和dump_model 有什么区别？
2. 保存'0001.model'和'dump.raw.txt','featmap.txt'有什么区别？
3. 为什么加载model.bin的模型名称与要保存的名称0001.model不同？
4. 假设我训练了两个模型：model_A 和 model_B。我想保存这两个模型以备将来使用。我应该使用哪个save 和load 函数？您能帮忙展示一下清晰的流程吗？

Answer 1

我在这里找到了方法，因为我正在寻找一种方法来保存和加载我的 xgboost 模型。以下是我解决问题的方法：

import pickle
file_name = "xgb_reg.pkl"

# save
pickle.dump(xgb_model, open(file_name, "wb"))

# load
xgb_model_loaded = pickle.load(open(file_name, "rb"))

# test
ind = 1
test = X_val[ind]
xgb_model_loaded.predict(test)[0] == xgb_model.predict(test)[0]

Out[1]: True

Answer 2

save_model和dump_model这两个函数都保存模型，区别在于dump_model可以保存特征名称和保存树为文本格式。

load_model 将与来自save_model 的模型一起使用。来自dump_model 的模型可以与xgbfi 一起使用。

在加载模型的过程中，您需要指定保存模型的路径。在示例中，bst.load_model("model.bin") 模型是从文件 model.bin 加载的 - 它只是带有模型的文件名。祝你好运！

编辑：来自 Xgboost 文档（对于版本 1.3.3），dump_model() 应用于保存模型以供进一步解释。要保存和加载模型，应使用 save_model() 和 load_model()。详情请查看docs。

Xgboost 的Learning API 和Scikit-Learn API 也有区别。后者保存了在训练期间设置的best_ntree_limit 变量，并提前停止。详情可以看我的文章How to save and load Xgboost in Python?

save_model()方法识别文件名的格式，如果指定*.json，则模型保存为JSON，否则为文本文件。

Answer 3

保存和加载 xgboost 模型的简单方法是使用 joblib 库。

import joblib
#save model
joblib.dump(xgb, filename) 

#load saved model
xgb = joblib.load(filename)

Answer 4

不要使用 pickle 或 joblib，因为这可能会引入对 xgboost 版本的依赖。保存和恢复模型的规范方法是 load_model 和 save_model。

如果您想存储或归档模型以进行长期存储，请使用 save_model (Python) 和 xgb.save (R)。

This 是 XGBoost 最新版本的相关文档。它还解释了dump_model 和save_model 之间的区别。

请注意，您可以在使用 bst.save_model 时指定 json 作为扩展名，将模型序列化/反序列化为 json。如果保存和恢复模型的速度对您来说并不重要，这非常方便，因为它允许您对模型进行适当的版本控制，因为它是一个简单的文本文件。

Answer 5

如果您使用的是 sklearn api，您可以使用以下内容：

xgb_model_latest = xgboost.XGBClassifier() # or which ever sklearn booster you're are using

xgb_model_latest.load_model("model.json") # or model.bin if you are using binary format and not the json

如果您使用上述 booster 方法进行加载，您将在 python api 中获得 xgboost booster，而不是 sklearn api 中的 sklearn booster。

是的，如果您使用的是 sklearn api，这似乎是加载保存的 xgboost 模型数据的最 Pythonic 方式。