如何选择或优化标签以便我们获得更好的多类分类结果？

Question

最近我在做一个 Kaggle 项目“Prudential Life Insurance Assessment”，竞争对手谈论改变标签以获得更好的指标。

在那次特定的比赛中，目标有 8 个类别 (1-8)，但 one of the guy 使用不同的标签 (-1.6, 0.7, 0.3, 3.15, 4.53, 6.5, 6.77, 9.0) 或 another example 他们使用 [-1.6, 0.7, 0.3, 3.15, 4.53, 6.5, 6.77, 9.0] 而不是 [1,2,3,4,5,6,7,8]。

我想知道如何得出这些神奇的数字？

我愿意接受任何想法/技巧/建议来进行此类转变。非常感谢您的投入！

示例代码

# imports
import numpy as np
import pandas as pd
import seaborn as sns
import xgboost as xgb
from sklearn import metrics
from sklearn.model_selection import train_test_split

# data
df = sns.load_dataset('iris')
df['species'] = pd.factorize(df['species'])[0]
df = df.sample(frac=1,random_state=100)

# train test split
X = df.drop('species',axis=1)
y = df['species']
Xtrain,  Xtest, ytrain, ytest = train_test_split(X,y,stratify=y,random_state=100)

# modelling
model = xgb.XGBClassifier(objective='multi:softprob', random_state=100)
model.fit(Xtrain, ytrain)
preds = model.predict(Xtest)
kappa = metrics.cohen_kappa_score(ytest, preds, weights='quadratic')

print(kappa)

我的想法

• 标签可以取的数字实际上是无限的，如何将[1-8] 转换为[x-y]？

• 我们是否应该随机选择 8 个数字并检查所有数字的 kappa。这似乎是最不合理的想法，可能永远不会奏效。

• 是否有某种梯度下降方法可以解决这个问题？也许不是，只是一个想法。

参考链接

• https://www.kaggle.com/zeroblue/bayesian-ridge
• https://www.kaggle.com/mariopasquato/linear-model/code
• https://www.kaggle.com/c/prudential-life-insurance-assessment/discussion/18996

Answer 1

您问题中的第一个链接实际上包含答案：

#硬编码值是通过使用模拟退火优化 CV 分数获得的

还有后来作者cmets：

起初我是一个一个地优化参数，但后来我切换到通过网格搜索和模拟退火的组合同时优化它们。我不确定我是否找到了 CV 分数的全局最大值，即使在玩弄了各种模拟退火设置之后也是如此。也许遗传算法会有所帮助。

第二个链接的解决方案具有相同的值，因为（可能）作者从第一个解决方案中复制了它们（参见他们的 cmets）：

灵感来自：https://www.kaggle.com/mariopasquato/prudential-life-insurance-assessment/linear-model/code

简单地说 - 您可以将这些值视为您的学习算法的元参数（嗯，它们确实如此）。通过这种方式，您可以定义一个函数F(metaparameters)，以便计算它的单个值，您可以在训练集上进行全面训练并在验证集上输出损失（或者最好只使用 n 折交叉验证并使用 CV 损失）。然后你的任务就变成了优化函数F，使用你喜欢的任何优化方法来找到最好的元参数集——例如。第一个解决方案的作者声称他们使用了网格搜索和模拟退火。

优化本身没有元调整的小例子：

import numpy as np
cnt = 0
def use_a_function_which_calls_training_and_computes_cv_instead_of_this(x):
    global cnt
    cnt += 1
    return ((x - np.array([-1.6, 0.7, 0.3, 3.15, 4.53, 6.5, 6.77, 9.0]))**2).sum()

my_best_guess_for_the_initial_parameters = np.array([1.,2.,3.,4.,5.,6.,7.,8.])
optimization_results = scipy.optimize.basinhopping(
    use_a_function_which_calls_training_and_computes_cv_instead_of_this,
    my_best_guess_for_the_initial_parameters,
    niter=100)
print("Times function was called: {0}".format(cnt))
print(optimization_results.x)

示例输出：

Times function was called: 3080
[-1.6         0.7         0.3         3.15        4.52999999  6.5
  6.77        8.99999999]

您很可能想尝试优化本身的参数，甚至可能编写自定义优化器和/或回调来制定步骤。但是，即使是默认参数也有可能至少在某种程度上对您有用。如果您发现太多时间对函数进行一次计算，您可以例如尝试使用完整数据的较小子集等进行初始优化。