如何在内存有限的巨大图像数据集上应用 zca？

Question

谷歌告诉我的是：

1. 对于keras，ImageDataGenerator 函数似乎有一个开箱即用的 zca_whitening。但是如果设置了这个选项，它需要在整个数据集X上调用ImageDataGenerator.fit。所以这不是一个选项。

2. 对于sklearn，IncrementalPCA 似乎适用于庞大的数据集，但我不知道如何以生成器样式将 PCA 旋转到 ZCA。

感谢您的帮助！

Answer 1

我在ZCA transformation 之后定义了一个可能有用的函数：

def ZCAtransform(X,IPCA_model): 
      # get the Eigenvectors and Eigenvalues
      U = IPCA_model.components_.transpose()
      S = np.sqrt(IPCA_model.explained_variance_) 
      Xdemeand = (X-np.mean(X,0)).transpose()

      #get the transformed data 
      # Xproj' =  U * diag(1/(S+I*epsilon)) * U' * X_data 
      return (U.dot(np.diag(1/(S+IPCA_model.noise_variance_))).dot(U.transpose()).dot(Xdemeand)).transpose()

Xproj = ZCAtransform(X, ipca)

根据 Scikit-learn 中给定的example，我能够生成 Iris 数据集的 ZCA，如下所示：

ZCAWhitened PCA