如何获得最终特征？

Question

原始数据为Y，Y的大小为L*n（n为特征数；L为观测数。B为原始的协方差矩阵数据Y。假设A是协方差矩阵B的特征向量。我将A表示为A = (e1, e2,...,en)，其中ei是特征向量。矩阵Aq是第一个q和eigen ai 是 Aq 的行向量：Aq = (e1,e2,...,eq) = (a1,a2,...,an)'。我想将 k-means 算法应用于 Aq 以将行向量 ai 聚类到 k 集群或更多（注意：我不想对特征向量ei到k聚类应用k-means算法。对于每个聚类，只保留最接近聚类中心的向量，最终选择该向量对应的特征作为信息特征.

我的问题是：

1) 将 k-means 算法应用于 Aq 以将行向量 ai 聚类到 k 簇和将 k-means 算法应用于 Aq 以聚类特征向量 ei 之间有什么区别到k 集群？

2）我得到的closest_vectors来自这个命令：closest_vectors = Aq(min_idxs, :)，closest_vectors的大小是k*qdouble。如何获得最终的信息特征？由于最终的信息特征必须从原始数据Y中获得。

谢谢！

我发现了两个关于 pca 和 pfa 的函数：

function [e m lambda, sqsigma] = cvPca(X, M)

[D, N] = size(X);

if ~exist('M', 'var') || isempty(M) || M == 0
    M = D; 
end
M = min(M,min(D,N-1));

%% mean subtraction
m = mean(X, 2);  %%% calculate the mean of every row

X = X - repmat(m, 1, N);

%% singular value decomposition. X = U*S*V.' or X.' = V*S*U.'
[U S V] = svd(X,'econ');

e = U(:,1:M);

if nargout > 2
    s = diag(S);

    s = s(1:min(D,N-1));

    lambda = s.^2 / N; % biased (1/N) estimator of variance

end

% sqsigma. Used to model distribution of errors by univariate Gaussian
if nargout > 3
    d = cvPcaDist(X, e, m); % Use of validation set would be better

    N = size(d,2);

    sqsigma = sum(d) / N; % or (N-1) unbiased est

end
end

%////////////////////////////////////// ///////////////////////////

function [IDX, Me] = cvPfa(X, p, q)
[D, N] = size(X);
if ~exist('p', 'var') || isempty(p) || p == 0
    p = D;
end
p = min(p, min(D, N-1));
if ~exist('q', 'var') || isempty(q)
    q = p - 1;
end

%% PCA step
[U Me, Lambda] = cvPca(X, q);

%% cluter row vectors (q x D). not col
[Cl, Mu] = kmeans(U, p, 'emptyaction', 'singleton', 'distance', 'sqEuclidean');

%% find axis which are nearest to mean vector
IDX = logical(zeros(D,1));
for i = 1:p
    Cli = find(Cl == i);
    d = cvEucdist(Mu(i,:).', U(Cli,:).');
    [mini, argmin] = min(d);
    IDX(Cli(argmin)) = 1;
end

Answer 1

总结 Ollogin 的 cmets，对协方差矩阵的特征向量或 SVD 的 U 矩阵的列进行聚类是没有意义的。在这种情况下，特征向量都是正交的，因此如果您尝试对它们进行聚类，每个聚类只会得到一个成员，并且该聚类的质心由特征向量本身定义。

现在，您真正需要的是选择数据矩阵中的特征，这些特征可以根据判别分析来描述您的数据。

您提供的函数既可以计算 SVD，又可以提取数据的 k 主成分，还可以确定从这些 k 中选择哪些特征最为突出。默认情况下，要选择的功能数量等于k，但您可以根据需要覆盖它。让我们坚持使用默认值。

cvPfa 函数会为您执行此特征选择，但会警告您该函数中的数据矩阵是组织的，其中每个 行是一个特征，每个 列是一个样本。输出是一个logical 向量，它告诉您在数据中选择哪些特征最强。

简单地说，你只需这样做：

k = 10; %// Example
IDX = cvPfa(Y.', k);
Ynew = Y(:,IDX);

此代码将选择数据矩阵中最突出的 10 个特征，并挑选出最能代表您的数据或最具辨别力的 10 个特征。然后，您可以将输出用于您所针对的任何应用程序。

Answer 2

1) 我认为对协方差矩阵的特征向量（PCA 结果的列）进行聚类没有任何意义。在欧几里得距离的意义上，所有特征向量成对正交并且彼此相距相等。您可以选择任何特征向量并计算它们之间的距离，任何对之间的距离将是 sqrt(2)。但是对 PCA 结果的行进行聚类可以提供一些有用的东西。