Fisher 信息计算扩展

Question

给定您的数据矩阵 X.shape = (n, d) 和单个预测变量的估计值 y_pred.shape = (n,)，可以像这样计算 Fisher 信息 I：

    V = diags(y_pred * (1 - y_pred)) # V.shape = (n, n), sparse from scipy.sparse.diags
    I = X.T.dot(V).dot(X) # I.shape = (d, d)

现在假设我想将其扩展到k 数据矩阵，所以X.shape = (k, n, d)，给我k FIM I.shape = (k, d, d)。循环遍历k 矩阵会更有效，还是有一种线性代数方法可以加快速度？

谢谢！

Answer 1

方法#1

对于np.tensordot 和np.einsum 的矢量化解决方案，我们可以分两步完成 -

parte1 = np.tensordot(X, V, axes=(1,0))
out = np.einsum('ijk,ikl->ijl',parte1, X)

对于稀疏矩阵V，使用以下得到parte1：

(X.swapaxes(1,2).reshape(-1,n)*V).reshape(k,d,n)

方法 #2

或者，在一个einsum 电话中-

np.einsum('ijk,jl,ilm->ikm',X, V, X)

注意：我们可以在 einsum 调用中尝试使用 optimize=True，以便使用较新的 NumPy 版本进一步加快速度。