返回分布的 z 值 - python

Question

我有一个二元分布，它是从 'Int_1','Int_2' 中每个 Group 的 xy 点生成的。我通过Norm 对分布进行归一化，并将其传递给轮廓以显示 z 值。

我想返回'Item_X','Item_Y' 中显示的 xy 点处二元分布的 z 值。下图中使用白色散点的一个示例。

最终，我会将'Item_X','Item_Y' 在每个时间点的 z 值传递给数据框，并将其附加回原始 df。

import pandas as pd
import numpy as np
from scipy.stats import multivariate_normal as mvn
import matplotlib.pyplot as plt
from scipy.interpolate import RectBivariateSpline

df = pd.DataFrame({'Int_1': [1.0, 2.0, 1.0, 3.0, 1.0, 2.0, 3.0, 2.0], 
           'Int_2': [1.0, 2.0, 2.0, 2.0, 1.0, 1.0, 1.0, 2.0],
           'Item_X': [0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0],
           'Item_Y': [0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0],               
           'Period': [1, 1, 1, 1, 2, 2, 2, 2],
           'Group': ['A', 'B', 'A', 'B', 'A', 'B', 'A', 'B'],
           'Item': ['Y', 'Y', 'A', 'B', 'A', 'B', 'A', 'B'],
           'id': ['1', '2', '3', '4', '1', '2', '3', '4']})

Group_A = [df[df['Group'] == 'A'][['Int_1','Int_2']].to_numpy()]
Group_B = [df[df['Group'] == 'B'][['Int_1','Int_2']].to_numpy()]
Item = [df[['Item_X','Item_Y']].to_numpy()]

period = df['Period'].drop_duplicates().reset_index(drop = True)

def bivart_func(member_no, location, time_index, group):

  if group == 'A':
    data = Group_A.copy()

  elif group == 'B':
    data = Group_B.copy()

  else:

    return

  if np.all(np.isfinite(data[member_no][[time_index,time_index + 1],:])) & np.all(np.isfinite(Item[0][time_index,:])):

    sxy = (data[member_no][time_index + 1,:] - data[member_no][time_index,:]) / (period[time_index + 1] - period[time_index])

    mu = data[member_no][time_index,:] + sxy * 0.5

    out = mvn.pdf(location,mu) / mvn.pdf(data[member_no][time_index,:],mu)

  else:
    out = np.zeros(location.shape[0])

  return out

xx,yy = np.meshgrid(np.linspace(-10,10,200),np.linspace(-10,10,200))
Z_GA = np.zeros(40000)
Z_GB = np.zeros(40000)

for k in range(1):
  Z_GA += bivart_func(k,np.c_[xx.flatten(),yy.flatten()],0,'A')
  Z_GB += bivart_func(k,np.c_[xx.flatten(),yy.flatten()],0,'B')

fig, ax = plt.subplots(figsize=(8,8))
ax.set_xlim(-10,10)
ax.set_ylim(-10,10)

Z_GA = Z_GA.reshape((200,200))
Z_GB = Z_GB.reshape((200,200))

Norm = xx,yy, (Z_GA - Z_GB)

cfs = ax.contourf(*Norm, cmap = 'magma')

ax.scatter(Item[0][1,0],Item[0][1,1], color = 'white', edgecolor = 'black')

f = RectBivariateSpline(xx[0, :], yy[:, 0], Norm)
z = f(df['Item_X'], df['Item_Y'], grid = False) 
print(z)

Answer 1

Z 分数是一个允许您比较不同正态分布的参数。任何正态分布都以同样的方式依赖于 Z 分数。

Z-score 定义为

而概率密度函数为

对于任何发行版，如果您在 f(x) 的定义中替换 z，您总是会得到 exp(-0.5*z**2)/(sigma * sqrt(2*pi)。

在您的情况下，您有一个概率比率，您可以找到与它的 z 值类似的比率，但它会有不同的解释。为了做到这一点，我将尝试将正常 PDF 的比率转换为具有不同均值和协方差的缩放正常 PDF。

PDF 作为缩放 PDF 的比率

这在启用了乳胶的论坛中更合适，我将用类似python的语法编写方程式

多元分布可以描述为

a * exp(-(x - mu).T @ A @ (x-mu))

如果你有两个分布的比率，你可以表示为 (a1/a2) * exp(-(x - mu2).T @ A1 @ (x-mu2)) / exp(-(x - mu1).T @ A2 @ (x-mu2))

因为指数的比率是差的指数

exp(-(x - mu2).T @ A1 @ (x-mu2) + (x - mu1).T @ A2 @ (x-mu2))

重新排列条款 exp(-x.T @ (A1 - A2) @ x + 2 * x.T @ (A1 @ mu1 - A2 @ mu2) + mu1.T @ A1 @ mu2 + mu2.T @ A2 @ mu2)

2 * x.T @ (A1 @ mu1 - A2 @ mu2) 项结合了两个线性项，并将定义分布的平均值在哪里， mu1.T @ A1 @ mu2 + mu2.T @ A2 @ mu2 项是常数，并将作为分布中的常数因子出现。

exp(-(x - mu).T @ A @ (x-mu))

缩放高斯的中心是这样的

(A1 - A2)@ mu3 = (A1 @ mu1 - A2 @ mu2)

因此mu3 = (A1 - A2).inv() @ (A1 @ mu1 - A2 @ mu2) 和A3=A1-A2

如果A3 是正定的（所有特征值都是正的），那么分布将是一个缩放高斯分布，平均mu3

a3 * exp(-(x - mu3).T @ A3 @ (x-mu3))

def combine(C1, C2, mu1, mu2):
  """
    Given two multivariate normal distribution in a n-dimensional space
    C1: Covariance of the first distribution
    C2: Covariance of the second distribution
    mu1: Center of the first distribution
    mu2: Center of the second distribution
  """

  A1 = C1.inv()
  A2 = C2.inv()
  C3 = (A1 - A2).inv()
  mu3 = C3 @ (A1 @ mu1 - A2 @ mu2)
  return C3, mu3

多元 z 值类比

z 值只是指数负参数两倍的平方根，因此，给定上述等式（就 C 而言，协方差矩阵）

def zValue(C, mu, x):
  """
    C:  n x n covariance matrix
    mu: n x 1 center vector
    x:  n x 1 location vector
  """
  return sqrt((x-mu).T @ C.inv() @ (x-mu))

zValue 将是曲线“中心”处的值与给定点之间的比率的函数。如果A1 - A2 不是确定的正数，则可能为负数，这意味着在给定点x 处评估的函数大于在点mu3 处评估的函数。