cvpartition 和 crossvalind 有什么区别

Question

load fisheriris;
y = species; %label
X = meas;

%Create a random partition for a stratified 10-fold cross-validation.

c = cvpartition(y,'KFold',10);
%  split training/testing sets
[trainIdx testIdx] = crossvalind('HoldOut', y, 0.6);

crossvalind 用于通过返回索引将整个特征集X 随机拆分为训练和测试数据来执行交叉验证。使用索引，我们可以将训练和测试数据分别创建为X(trainIdx,:) 和X(testIdx,:)。 cvpartition 还使用分层和非分层等方法拆分数据，但它不返回索引。我还没有看到crossvalind 是分层或非分层技术的例子。

问题：crossvalind和cvpartition可以一起使用吗？

我想做分层交叉验证。但我不明白如何将数据集划分为训练和测试并获取索引。

Answer 1

交叉验证和训练/测试分区是估计模型性能的两种不同方式，而不是构建模型本身的不同方式。通常，您应该使用您拥有的所有数据构建模型，但也使用其中一种技术（使用该数据的子集构建一个或多个附加模型并对其进行评分）来估计主模型可能有多好。

交叉验证对多次训练/测试拆分的结果进行平均，因此通常期望给出更现实的模型性能，即更悲观的估计。

在您提到的两个函数中，crossvalind 似乎是 Bioinformatics Toolbox 特有的，并且相当陈旧。 help for cvpartition 给出了如何进行分层交叉验证的示例：

示例

使用 10 倍分层交叉验证来计算 鸢尾花数据分类错误。

load('fisheriris');
CVO = cvpartition(species,'k',10);
err = zeros(CVO.NumTestSets,1);
for i = 1:CVO.NumTestSets
    trIdx = CVO.training(i);
    teIdx = CVO.test(i);
    ytest = classify(meas(teIdx,:),meas(trIdx,:),...
       species(trIdx,:));
    err(i) = sum(~strcmp(ytest,species(teIdx)));
end
cvErr = sum(err)/sum(CVO.TestSize);