超过 40 个导致 kernelpca scikit learn 错误的功能

Question

当我将内核 PCA 的功能数量设置为 40 以上时，会出现如下错误：

/opt/conda/lib/python3.6/site-packages/sklearn/decomposition/kernel_pca.py:262: 
RuntimeWarning: invalid value encountered in sqrt
  X_transformed = self.alphas_ * np.sqrt(self.lambdas_)

下面是我使用的代码：

from sklearn.decomposition import PCA, KernelPCA
from sklearn import svm
import numpy as np

print(testX.shape,np.isnan(testX_yaleA.all()),np.isfinite(testX_yaleA.all()))
(41, 77760) False True

kpca_rbf = KernelPCA(41,kernel="rbf", fit_inverse_transform=False, gamma=0.01)
Xtest_kpca = kpca_rbf.fit_transform(testX_yaleA)

我很困惑为什么会发生这种情况，可能是由于数组的大小（41,77760）？

Answer 1

我能够用其中一个 sklearn 数据集复制它。

from sklearn.datasets import load_iris
form sklearn.decomposition import KernelPCA

iris = load_iris()
data = iris.data
target = iris.target
data.shape
(150, 4)

kpca = KernelPCA(4, kernel='rbf', fit_inverse_transform=False, gamma=0.01)
transformed = kpca.fit_transform(data)
transformed.shape
(150, 4)

kpca = KernelPCA(150, kernel='rbf', fit_inverse_transform=False, gamma=0.01)
transformed = kpca.fit_transform(data)
/Users/grr/anaconda/lib/python3.6/site-packages/sklearn/decomposition/kernel_pca.py:264: RuntimeWarning: invalid value encountered in sqrt
  X_transformed = self.alphas_ * np.sqrt(self.lambdas_)
transformed.shape
(150, 150)

这让我相信，您将KernelPCA 的n_components 参数设置为大于数据中特征数的数字。

也许你混淆了形状。 拥有一个只有 41 行和 77K+ 特征的数据集似乎很奇怪，而且从这样的数据集进行的任何预测建模在功能上都是无用的。我会再次检查您的数据集的形状，并确保您没有将n_components 的值设置为大于存在的特征数。