出了点问题；缺少所有 ROC 指标值：

【问题标题】：Something is wrong; all the ROC metric values are missing:出了点问题；缺少所有 ROC 指标值：
【发布时间】：2015-12-09 16:34:49
【问题描述】：

我正在使用 caret 包在 R 中训练模型：

ctrl <- trainControl(method = "repeatedcv", repeats = 3,  summaryFunction = twoClassSummary)

logitBoostFit <- train(LoanStatus~., credit, method = "LogitBoost", family=binomial, preProcess=c("center", "scale", "pca"), 
    trControl = ctrl)

我收到以下警告：

Warning message:
In train.default(x, y, weights = w, ...): The metric "Accuracy" was not in the result set. ROC will be used instead.Warning message:
In nominalTrainWorkflow(x = x, y = y, wts = weights, info = trainInfo, : There were missing values in resampled performance measures.
Something is wrong; all the ROC metric values are missing:
      ROC           Sens              Spec       
 Min.   : NA   Min.   :0.03496   Min.   :0.9747  
 1st Qu.: NA   1st Qu.:0.03919   1st Qu.:0.9758  
 Median : NA   Median :0.04343   Median :0.9770  
 Mean   :NaN   Mean   :0.04349   Mean   :0.9779  
 3rd Qu.: NA   3rd Qu.:0.04776   3rd Qu.:0.9795  
 Max.   : NA   Max.   :0.05210   Max.   :0.9821  
 NA's   :3                                       
Error in train.default(x, y, weights = w, ...): Stopping

我安装了 pROC 包：

install.packages("pROC", repos="http://cran.rstudio.com/")
library(pROC)
Type 'citation("pROC")' for a citation.

Attaching package: ‘pROC’

The following objects are masked from ‘package:stats’:

    cov, smooth, var

这是数据：

str(credit)
'data.frame':   8580 obs. of  45 variables:
 $ ListingCategory            : int  1 7 3 1 1 7 1 1 1 1 ...
 $ IncomeRange                : int  3 4 6 4 4 3 3 4 3 3 ...
 $ StatedMonthlyIncome        : num  2583 4326 10500 4167 5667 ...
 $ IncomeVerifiable           : logi  TRUE TRUE TRUE FALSE TRUE TRUE ...
 $ DTIwProsperLoan            : num  1.8e-01 2.0e-01 1.7e-01 1.0e+06 1.8e-01 4.4e-01 2.2e-01 2.0e-01 2.0e-01 3.1e-01 ...
 $ EmploymentStatusDescription: Factor w/ 7 levels "Employed","Full-time",..: 1 4 1 7 1 1 1 1 1 1 ...
 $ Occupation                 : Factor w/ 65 levels "","Accountant/CPA",..: 37 37 20 14 43 58 48 37 37 37 ...
 $ MonthsEmployed             : int  4 44 159 67 26 16 209 147 24 9 ...
 $ BorrowerState              : Factor w/ 48 levels "AK","AL","AR",..: 22 32 5 5 14 28 4 10 10 34 ...
 $ BorrowerCity               : Factor w/ 3089 levels "AARONSBURG","ABERDEEN",..: 1737 3059 2488 654 482 719 895 1699 2747 1903 ...
 $ BorrowerMetropolitanArea   : Factor w/ 1 level "(Not Implemented)": 1 1 1 1 1 1 1 1 1 1 ...
 $ LenderIndicator            : int  0 0 0 1 0 0 0 0 1 0 ...
 $ GroupIndicator             : logi  FALSE FALSE FALSE TRUE FALSE FALSE ...
 $ GroupName                  : Factor w/ 83 levels "","00 Used Car Loans",..: 1 1 1 47 1 1 1 1 1 1 ...
 $ ChannelCode                : int  90000 90000 90000 80000 40000 40000 90000 90000 80000 90000 ...
 $ AmountParticipation        : int  0 0 0 0 0 0 0 0 0 0 ...
 $ MonthlyDebt                : int  247 785 1631 817 644 1524 427 817 654 749 ...
 $ CurrentDelinquencies       : int  0 0 0 0 0 0 0 1 0 1 ...
 $ DelinquenciesLast7Years    : int  0 10 0 0 0 0 0 0 0 0 ...
 $ PublicRecordsLast10Years   : int  0 1 0 0 0 0 1 0 1 0 ...
 $ PublicRecordsLast12Months  : int  0 0 0 0 0 0 0 0 0 0 ...
 $ FirstRecordedCreditLine    : Factor w/ 4719 levels "1/1/00 0:00",..: 3032 2673 1197 2541 4698 4345 3150 925 4452 2358 ...
 $ CreditLinesLast7Years      : int  53 30 36 26 7 22 15 20 34 32 ...
 $ InquiriesLast6Months       : int  2 8 5 0 0 0 0 3 0 0 ...
 $ AmountDelinquent           : int  0 0 0 0 0 0 0 63 0 15 ...
 $ CurrentCreditLines         : int  10 10 18 10 4 11 6 10 7 8 ...
 $ OpenCreditLines            : int  9 10 15 8 3 8 5 7 7 8 ...
 $ BankcardUtilization        : num  0.26 0.69 0.94 0.69 0.81 0.38 0.55 0.24 0.03 0 ...
 $ TotalOpenRevolvingAccounts : int  9 7 12 10 3 5 4 5 4 6 ...
 $ InstallmentBalance         : int  48648 14827 0 0 0 30916 0 21619 41340 15447 ...
 $ RealEstateBalance          : int  0 0 577745 0 0 0 191296 0 0 126039 ...
 $ RevolvingBalance           : int  5265 9967 94966 50511 37871 22463 19550 2436 1223 3236 ...
 $ RealEstatePayment          : int  0 0 4159 0 0 0 1303 0 0 1279 ...
 $ RevolvingAvailablePercent  : int  78 52 36 45 18 61 44 74 96 76 ...
 $ TotalInquiries             : int  8 11 15 2 0 0 1 7 1 1 ...
 $ TotalTradeItems            : int  53 30 36 26 7 22 15 20 34 32 ...
 $ SatisfactoryAccounts       : int  52 23 36 26 7 19 15 18 34 29 ...
 $ NowDelinquentDerog         : int  0 0 0 0 0 0 0 1 0 1 ...
 $ WasDelinquentDerog         : int  1 7 0 0 0 3 0 1 0 2 ...
 $ OldestTradeOpenDate        : int  5092001 5011977 12011984 4272000 9081993 9122000 6161987 11181999 9191990 4132000 ...
 $ DelinquenciesOver30Days    : int  0 6 0 0 0 13 0 2 0 2 ...
 $ DelinquenciesOver60Days    : int  0 4 0 0 0 0 0 0 0 1 ...
 $ DelinquenciesOver90Days    : int  0 10 0 0 0 0 0 0 0 0 ...
 $ IsHomeowner                : logi  FALSE FALSE TRUE FALSE FALSE FALSE ...
 $ LoanStatus                 : Factor w/ 2 levels "0","1": 2 1 1 2 2 2 2 2 2 1 .`..

总结（学分） 上市类别收入范围规定每月收入收入可核实 分钟。 : 0.000 分钟。 :1.000 分钟。 : 0 模式 :逻辑
第一组：1.000 第一组：3.000 第一组：3167 错误：784
中位数：2.000 中位数：4.000 中位数：4750 真：7796
平均值：4.997 平均值：4.089 平均值：5755 NA：0
第三区：7.000 第三区：5.000 第三区：7083
最大限度。 :20.000 最大。 :7.000 最大。 :250000

DTIwProsperLoan EmployedStatusDescription MonthsEmployed
分钟。 : 0.0 就业人数 :7182 分钟。 :-23.00
第一季：0.1 全日制：416 第一季：26.00
中位数：0.2 未就业：122 中位数：68.00
平均值：91609.4 其他：475 平均值：97.44
第三季：0.3 兼职：7 第三季：139.00
最大限度。 :1000000.0 退休: 32 Max. :755.00
个体经营者：346 名：5
BorrowerState LenderIndicator GroupIndicator ChannelCode
加利福尼亚州：1056 分钟。 ：0.00000 模式：逻辑最小值。 :40000
FL : 608 1st Qu.:0.00000 FALSE:8325 1st Qu.:80000
纽约：574 中位数：0.00000 正确：255 中位数：80000
TX : 532 平均值 :0.09196 NA :0 平均值 :77196
IL : 443 第三区：0.00000 第三区：90000
GA：最大 343 :1.00000 最大。 :90000
(其他):5024
每月债务本期拖欠拖欠最近 7 年 分钟。 : 0.0 分钟。 : 0.0000 分钟。 : 0.000
第一区：364.0 第一区：0.0000 第一区：0.000
中位数：708.0 中位数：0.0000 中位数：0.000
平均值：885.5 平均值：0.4119 平均值：4.009
第三区：1205.2 第三区：0.0000 第三区：3.000
最大限度。 :30213.0 最大。 :21.0000 最大。 :99.000

Public RecordsLast10Years PublicRecordsLast12Months CreditLinesLast7Years 分钟。 : 0.0000 分钟。 :0.00000 分钟。 : 2.0
第一区：0.0000 第一区：0.00000 第一区：16.0
中位数：0.0000 中位数：0.00000 中位数：24.0
平均值：0.2809 平均值：0.01364 平均值：26.1
第三曲：0.0000 第三曲：0.00000 第三曲：34.0
最大限度。 :11.0000 最大。 :4.00000 最大。 :115.0

查询最近 6 个月的金额拖欠 CurrentCreditLines OpenCreditLines 分钟。 : 0.0000 分钟。 : 0 分钟。 : 0.000 分钟。 : 0.000
第一区：0.0000 第一区：0 第一区：5.000 第一区：5.000
中位数：1.0000 中位数：0 中位数：9.000 中位数：8.000
平均值：0.9994 平均值：1195 平均值：9.345 平均值：8.306
第三组：1.0000 第三组：0 第三组：12.000 第三组：11.000
最大限度。 :15.0000 最大。 :179158 最大。 :54.000 最大。 :42.000

BankcardUtilization TotalOpenRevolvingAccounts 分期余额 分钟。 :0.0000 分钟。 : 0.000 分钟。 : 0
第一区：0.2500 第一区：3.000 第一区：3338
中位数：0.5400 中位数：6.000 中位数：14453
平均值：0.5182 平均值：6.441 平均值：24900
第三区：0.7900 第三区：9.000 第三区：32238
最大限度。 :2.2300 最大。 :44.000 最大。 :739371
北美：328
RealEstateBalance RevolvingBalance RealEstatePayment RevolvingAvailablePercent 分钟。 : 0 分钟。 : 0 分钟。 : 0.0 分钟。 : 0.00
第一区：0 第一区：2799 第一区：0.0 第一区：29.00
中位数：26154 中位数：8784 中位数：346.5 中位数：52.00
平均值：109306 平均值：19555 平均值：830.5 平均值：51.46
第三区：176542 第三区：21110 第三区：1382.2 第三区：75.00
最大限度。 :1938421 最大。 :695648 最大。 :13651.0 最大。 :100.00

TotalInquiries TotalTradeItems SatisfactoryAccounts NowDelinquentDerog 分钟。 : 0.00 分钟。 : 2.0 分钟。 : 1.00 分钟。 : 0.0000
第一区：2.00 第一区：16.0 第一区：14.00 第一区：0.0000
中位数：3.00 中位数：24.0 中位数：21.00 中位数：0.0000
平均值：3.91 平均值：26.1 平均值：23.34 平均值：0.4119
第三曲：5.00 第三曲：34.0 第三曲：30.25 第三曲：0.0000
最大限度。 :36.00 最大。 :115.0 最大。 :113.00 最大。 :21.0000

WasDelinquentDerog OldestTradeOpenDate DelinquenciesOver30Days 分钟。 : 0.000 分钟。 : 1011957 分钟。 : 0.000
第一区：0.000 第一区：4101996 第一区：0.000
中位数：1.000 中位数：7191993 中位数：1.000
平均值：2.343 平均值：6934230 平均值：4.332
第三区：3.000 第三区：10011990 第三区：5.000
最大限度。 :32.000 最大。 :12312004 最大。 :99.000

DelinquenciesOver60Days DelinquenciesOver90Days IsHomeowner LoanStatus 分钟。 : 0.000 分钟。 ：0.000 模式：逻辑 0:1518
第一组：0.000 第一组：0.000 FALSE:4264 1:7062
中位数：0.000 中位数：0.000 真：4316
平均值：1.908 平均值：4.009 NA：0
第三区：2.000 第三区：3.000
最大限度。 :73.000 最大。 :99.000

我没有找到任何缺失值：

try(na.fail(credit))

dput(head(credit,4))

structure(list(ListingCategory = c(1L, 7L, 3L, 1L), IncomeRange = c(3L, 
4L, 6L, 4L), StatedMonthlyIncome = c(2583.3333, 4326, 10500, 
4166.6667), IncomeVerifiable = c(TRUE, TRUE, TRUE, FALSE), DTIwProsperLoan = c(0.18, 
0.2, 0.17, 1e+06), EmploymentStatusDescription = structure(c(1L, 
4L, 1L, 7L), .Label = c("Employed", "Full-time", "Not employed", 
"Other", "Part-time", "Retired", "Self-employed"), class = "factor"), 
    MonthsEmployed = c(4L, 44L, 159L, 67L), BorrowerState = structure(c(22L, 
    32L, 5L, 5L), .Label = c("AK", "AL", "AR", "AZ", "CA", "CO", 
    "CT", "DC", "DE", "FL", "GA", "HI", "ID", "IL", "IN", "KS", 
    "KY", "LA", "MA", "MD", "MI", "MN", "MO", "MS", "MT", "NC", 
    "NE", "NH", "NJ", "NM", "NV", "NY", "OH", "OK", "OR", "PA", 
    "RI", "SC", "SD", "TN", "TX", "UT", "VA", "VT", "WA", "WI", 
    "WV", "WY"), class = "factor"), LenderIndicator = c(0L, 0L, 
    0L, 1L), GroupIndicator = c(FALSE, FALSE, FALSE, TRUE), ChannelCode = c(90000L, 
    90000L, 90000L, 80000L), MonthlyDebt = c(247L, 785L, 1631L, 
    817L), CurrentDelinquencies = c(0L, 0L, 0L, 0L), DelinquenciesLast7Years = c(0L, 
    10L, 0L, 0L), PublicRecordsLast10Years = c(0L, 1L, 0L, 0L
    ), PublicRecordsLast12Months = c(0L, 0L, 0L, 0L), CreditLinesLast7Years = c(53L, 
    30L, 36L, 26L), InquiriesLast6Months = c(2L, 8L, 5L, 0L), 
    AmountDelinquent = c(0L, 0L, 0L, 0L), CurrentCreditLines = c(10L, 
    10L, 18L, 10L), OpenCreditLines = c(9L, 10L, 15L, 8L), BankcardUtilization = c(0.26, 
    0.69, 0.94, 0.69), TotalOpenRevolvingAccounts = c(9L, 7L, 
    12L, 10L), InstallmentBalance = c(48648L, 14827L, 0L, 0L), 
    RealEstateBalance = c(0L, 0L, 577745L, 0L), RevolvingBalance = c(5265L, 
    9967L, 94966L, 50511L), RealEstatePayment = c(0L, 0L, 4159L, 
    0L), RevolvingAvailablePercent = c(78L, 52L, 36L, 45L), TotalInquiries = c(8L, 
    11L, 15L, 2L), TotalTradeItems = c(53L, 30L, 36L, 26L), SatisfactoryAccounts = c(52L, 
    23L, 36L, 26L), NowDelinquentDerog = c(0L, 0L, 0L, 0L), WasDelinquentDerog = c(1L, 
    7L, 0L, 0L), OldestTradeOpenDate = c(5092001L, 5011977L, 
    12011984L, 4272000L), DelinquenciesOver30Days = c(0L, 6L, 
    0L, 0L), DelinquenciesOver60Days = c(0L, 4L, 0L, 0L), DelinquenciesOver90Days = c(0L, 
    10L, 0L, 0L), IsHomeowner = c(FALSE, FALSE, TRUE, FALSE), 
    LoanStatus = structure(c(2L, 1L, 1L, 2L), .Label = c("0", 
    "1"), class = "factor")), .Names = c("ListingCategory", "IncomeRange", 
"StatedMonthlyIncome", "IncomeVerifiable", "DTIwProsperLoan", 
"EmploymentStatusDescription", "MonthsEmployed", "BorrowerState", 
"LenderIndicator", "GroupIndicator", "ChannelCode", "MonthlyDebt", 
"CurrentDelinquencies", "DelinquenciesLast7Years", "PublicRecordsLast10Years", 
"PublicRecordsLast12Months", "CreditLinesLast7Years", "InquiriesLast6Months", 
"AmountDelinquent", "CurrentCreditLines", "OpenCreditLines", 
"BankcardUtilization", "TotalOpenRevolvingAccounts", "InstallmentBalance", 
"RealEstateBalance", "RevolvingBalance", "RealEstatePayment", 
"RevolvingAvailablePercent", "TotalInquiries", "TotalTradeItems", 
"SatisfactoryAccounts", "NowDelinquentDerog", "WasDelinquentDerog", 
"OldestTradeOpenDate", "DelinquenciesOver30Days", "DelinquenciesOver60Days", 
"DelinquenciesOver90Days", "IsHomeowner", "LoanStatus"), row.names = c(NA, 
4L), class = "data.frame")

有什么想法吗？

Warning message:
In train.default(x, y, weights = w, ...): The metric "Accuracy" was not in the result set. ROC will be used instead.
# weights:  72 (71 variable)
initial  value 5144.538374 
iter  10 value 3540.667624
iter  20 value 3329.692768
iter  30 value 3279.191024
iter  40 value 3264.926986
iter  50 value 3259.276647
iter  60 value 3259.056261
final  value 3259.032668 
converged
# weights:  72 (71 variable)
initial  value 5144.538374 
iter  10 value 3540.774666
iter  20 value 3330.016829
iter  30 value 3279.545595
iter  40 value 3265.384385
iter  50 value 3259.499032
iter  60 value 3259.353010
final  value 3259.342601 
converged
# weights:  72 (71 variable)
initial  value 5144.538374 
iter  10 value 3540.667731
iter  20 value 3329.693092
iter  30 value 3279.191379
iter  40 value 3264.927427
iter  50 value 3259.276899
iter  60 value 3259.056561
final  value 3259.032978 
converged
# weights:  72 (71 variable)
initial  value 5144.538374 
iter  10 value 3528.401458
iter  20 value 3314.932958
iter  30 value 3264.117072
iter  40 value 3253.780051
iter  50 value 3253.368959
iter  60 value 3253.359047
final  value 3253.358819 
converged
# weights:  72 (71 variable)
initial  value 5144.538374 
iter  10 value 3528.508505
iter  20 value 3315.134599
iter  30 value 3265.021404
iter  40 value 3255.739021
iter  50 value 3253.817833
iter  60 value 3253.697180
final  value 3253.671003 
converged
# weights:  72 (71 variable)
initial  value 5144.538374 
iter  10 value 3528.401565
iter  20 value 3314.933160
iter  30 value 3264.117768
iter  40 value 3253.780539
iter  50 value 3253.369030
iter  60 value 3253.359358
final  value 3253.359133 
converged
# weights:  71 (70 variable)
initial  value 5145.231521 
iter  10 value 4680.326236
iter  20 value 4672.506024
iter  30 value 3662.998233
iter  40 value 3310.207744
iter  50 value 3252.983656
iter  60 value 3250.400275
iter  70 value 3250.339216
final  value 3250.332646 
converged

... # 权重：72（71 个变量） 初始值 5144.538374 迭代 10 值 4661.569290 迭代 20 值 4652.246624 迭代 30 值 3715.472355 迭代 40 值 3484.096833 迭代 50 值 3254.247424 迭代 60 值 3248.931841 迭代 70 值 3248.154679 迭代 80 值 3248.129089 迭代 80 值 3248.129085 最终值 3248.128574 收敛的 # 权重：72（71 个变量） 初始值 5144.538374 迭代 10 值 4663.660886 迭代 20 值 4654.255466 迭代 30 值 3542.473235 迭代 40 值 3315.027437 迭代 50 值 3250.340679 迭代 60 值 3248.693378 迭代 70 值 3248.455840 迭代 80 值 3248.443345 迭代 80 值 3248.443325 迭代 80 值 3248.443325 最终值 3248.443325 收敛的 # 权重：72（71 个变量） 初始值 5144.538374 迭代 10 值 4661.571382 迭代 20 值 4652.248711 迭代 30 值 4397.069608 迭代 40 值 3532.067046 迭代 50 值 3283.179445 迭代 60 值 3249.518694 迭代 70 值 3248.163057 迭代 80 值 3248.129552 最终值 3248.128889 收敛的 警告信息： 在nominalTrainWorkflow(x = x, y = y, wts = weights, info = trainInfo, : 在重新采样的性能测量中存在缺失值。 出了点问题；缺少所有 ROC 指标值： ROC Sens 规格
分钟。 : NA 分钟。 ：0.01805 分钟。 :0.9946
第一区：NA 第一区：0.01805 第一区：0.9946
中位数：NA 中位数：0.01805 中位数：0.9946
平均值：NaN 平均值：0.01805 平均值：0.9946
第三曲：NA 第三曲：0.01805 第三曲：0.9946
最大限度。 : 不适用最大。 ：0.01805 最大。 :0.9946
北美：3
train.default(x, y, weights = w, ...) 中的错误：停止

summaryFunction = twoClassSummary 似乎触发了警告。 它也发生在这里：

ctrl <- trainControl(method = "cv", summaryFunction = twoClassSummary)

multinomSummaryFit <- train(LoanStatus~., credit, method = "multinom", family=binomial, 
    trControl = ctrl)

Warning message:
In nominalTrainWorkflow(x = x, y = y, wts = weights, info = trainInfo, : There were missing values in resampled performance measures.
Something is wrong; all the ROC metric values are missing:
      ROC           Sens              Spec       
 Min.   : NA   Min.   :0.01919   Min.   :0.9941  
 1st Qu.: NA   1st Qu.:0.01988   1st Qu.:0.9942  
 Median : NA   Median :0.02056   Median :0.9943  
 Mean   :NaN   Mean   :0.02011   Mean   :0.9943  
 3rd Qu.: NA   3rd Qu.:0.02056   3rd Qu.:0.9943  
 Max.   : NA   Max.   :0.02057   Max.   :0.9944  
 NA's   :3                                       
Error in train.default(x, y, weights = w, ...): Stopping

【问题讨论】：

  • 要增加对答案的更改，您可能希望将示例缩减到更易于管理的大小。在此过程中，您要么自己发现问题，要么最终得到一个可以通过dput 发布的小数据集。根据当前的描述，可能很难通过：检查数据的 NA、Inf 和 NaN。见stackoverflow.com/questions/5963269/…
  • 可能与stackoverflow.com/questions/30873989/…有关
  • 附加的 dput(head(credit,4))

标签： r r-caret


【解决方案1】：

查看summary(credit)的输出，可以看到至少有两个变量中有NA的值；

变量MonthsEmployed 具有5 NA 值：

MonthsEmployed 
Min.   :-23.00  
1st Qu.: 26.00  
Median : 68.00 
Mean   : 97.44  
3rd Qu.:139.00  
Max.   :755.00  
NA's   :5

变量InstallmentBalance 具有328 NA 值。

InstallmentBalance
Min.   :     0  
1st Qu.:  3338       
Median : 14453       
Mean   : 24900       
3rd Qu.: 32238      
Max.   :739371    
NA's   :328

尝试删除缺少值的行（或临时删除这两个变量）并再次运行该函数，看看这是否能解决您的问题。

另外，当你使用twoClassSummary时，你需要将metric = "ROC"添加到train函数和classProbs = TRUE到trainControl()

ctrl <- trainControl(method = "repeatedcv", 
                     repeats = 3, 
                     classProbs = TRUE,
                     summaryFunction = twoClassSummary) .

所以，你的电话应该是

multinomSummaryFit <- train(LoanStatus~., 
                            data = credit, 
                            method = "multinom", 
                            family=binomial, 
                            metric = "ROC",
                            trControl = ctrl)

关于数据集的另一个重要问题是，您需要仔细检查变量的值并确保每个值都有意义。例如，MonthsEmployed 变量具有负值。从逻辑上讲，员工的受雇月数为正数。这些负值是错误的还是它们意味着其他东西！ （例如，值 -23 表示此人已 23 个月未受雇）。

回答您关于confusionMatrix的问题：

假设您的训练模型称为multinomSummaryFit。为了在测试数据集上评估您的模型，您需要在没有 LoanStatus 的情况下在测试数据集上调用 predict 方法（使用您训练模型的相同变量），然后将您的模型预测与实际值进行比较LoanStatus。例如，

#let's say your test datafrme is called test
mymodel_pred <- predict(multinomSummaryFit, test[, names(test) != "LoanStatus"])

然后使用confusionMatrix:

confusionMatrix(data = mymodel_pred, 
                reference = test$LoanStatus, 
                positive = "Default")

如果测试数据集没有LoanStatus 列，那么您只需使用：

mymodel_pred <- predict(multinomSummaryFit, test)

但在这种情况下，如果您不知道实际响应，则无法在测试数据集上评估您的模型。

请记住，如果您从训练数据集中删除了任何变量，您还需要在调用predict之前将它们从测试数据集中删除

使用分层抽样分割数据以进行训练和测试：

trainingRows <- createDataPartition(credit$LoanStatus, p = .70, list= FALSE)
train <- credit[trainingRows, ]
test <- credit[-trainingRows, ]

【讨论】：

  • 感谢您的关注！你知道这个警告是关于什么的吗： ctrl
  • 删除列后出现同样的问题：MonthsEmployed & InstallmentBalance（不再有负值）。例如。 “出了点问题；所有 ROC 指标值都丢失了：”
  • 它现在正在运行......到目前为止，没有任何投诉。我不得不补充：classProbs = TRUE,
  • 哦，是的，您需要将classProbs = TRUE 添加到trainControl()。
  • 酷！多项回归 8580 个样本 36 个预测变量 2 个类别：'Default'、'NonDefault' 无预处理 重采样：交叉验证（10 倍，重复 3 次） 样本量摘要：7722、7722、7722、7721、7723、7723、 ...重新取样结果横跨调谐参数：衰减ROC桑斯规格ROC SD桑斯SD规格SD 0E + 00 0.6522402 0.02195887 0.9931562 0.01985756 0.01274415 0.002999899 1E-04 0.6519730 0.02195887 0.9930618 0.01967029 0.01274415 0.002864708 1E-01 0.6523307 0.02217962 0.9933922 0.01992944 0.01367039 0.002815529 跨度>
【解决方案2】：

尝试将类变量值从“0”、“1”更改为例如"A" ， "B" 然后尝试。

【讨论】：

  • Just - $ LoanStatus : Factor w/ 2 个级别 "0","1": 2 1 1 2 2 2 2 2 2 1 .`..
  • 是的。只需将 LoanStatus 更改为具有例如“A”、“B”代替“0”、“1”。请记住，您必须首先处理因子级别，但转换为 character ，进行转换并转换回因子应该可以工作。我有一个类似的问题，似乎问题是它在计算指标时尝试将列命名为“0”和“1”，这就是发生错误的地方。
  • 好的。我走得更远（请参阅附加的新警告和结果）。
  • 警告消息：在nominalTrainWorkflow(x = x, y = y, wts = weights, info = trainInfo, : 在重新采样的性能测量中存在缺失值。
  • 这似乎是问题 - ctrl
【解决方案3】：

我在一些数据上遇到了类似的问题，我使用选项“summaryFunction = twoClassSummary”来获得一些输出性能指标，并且一些数据特征的 sd() 等于 1。

我通过保留“twoClassSummary”并在接下来的步骤中计算我需要的性能指标（例如 ROC、CM）来解决了这个问题。

【讨论】：

    猜你喜欢
    • 2015-09-01
    • 2016-12-21
    • 2020-02-21
    • 1970-01-01
    • 2015-10-19
    • 2017-09-29
    • 2020-12-14
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多
    热门标签
    Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode