更改单行值时保持总和约束行的比例

Question

我有一个由成分数据组成的数据集。 每列代表混合物整体中某个组分的百分比（十进制值）。 每行总和为 1。

如果混合物中的一种成分发生变化，其余成分必须相应变化以满足总和约束。

我正在使用这些数据执行多元线性回归，它需要进行一些转换，以使回归系数有意义且可解释。数据集包含零值，这是我尝试实施的特定类型转换的问题。

在我可以执行此转换之前，建议的操作是用一个小数字替换所有零值，并调整剩余的组件以使总和约束仍然得到满足。

您可以在下面的 dummy df 中看到有连续多个零值的情况。

data = {'X1': [0.21, 0.08, 0.57, 0.03],
        'X2': [0.27, 0.56, 0.0, 0.02],
        'X3': [0.0, 0.14, 0.0, 0.45],
        'X4': [0.13, 0.02, 0.26, 0.37],
        'X5': [0.39, 0.2, 0.17, 0.13]}

df = pd.DataFrame(data)

print(df)

我们只考虑一行，所以这样做的公式如下：

设原始值为r_i。对于 delta_i 的组件 r_i 的更改，我们得到新值 x_i。

所以，x_i = r_i + delta_i

为了保持其余成分之间的相对比例，

设r_j为剩余分量的原始值，

那么第 j 个分量 x_j 的新值是，

x_j = r_j - ((r_j / (1 - r_i) * delta_i) and i != j

我正在努力为这个问题编写一个适当的循环，它将在数据集中搜索零值，然后在索引和列中添加一个小数字 包含零值，然后继续使用我上面描述的公式调整整行。

编辑：

很抱歉数学公式的表述不好。

对于虚拟 df 中的第一行，公式的应用很简单，因为该行中只有一个零：

重要的是其余组件之间的相对比例保持不变，您可以看到这里我将零值更新为一个小数字。

对于虚拟 df 中的第三行，事情变得有点复杂。我通过添加一个小数来更新第一个 (X2) 零值。第二个 (X3) 零值保持为零，因为公式正在乘以零。 所以我进行了第二次更新，使得 X2 和 X3 现在是小的非零值，这显示在下表的第三行。

对于行上存在多个零的情况，保持其余组件之间的相对比例也是相同的情况。

我想不出第一个问题的循环，更不用说第二个了！ 另外，不用担心在相对比例表中除以一个小数会产生很大的数字，我稍后会处理。

Answer 1

以下是编辑后的答案：

import pandas as pd
# To show 10 decimal points.
pd.options.display.float_format = '{:.10f}'.format

data = {'X1': [0.21, 0.08, 0.57, 0.03],
        'X2': [0.27, 0.56, 0.0, 0.02],
        'X3': [0.0, 0.14, 0.0, 0.45],
        'X4': [0.13, 0.02, 0.26, 0.37],
        'X5': [0.39, 0.2, 0.17, 0.13]}

df = pd.DataFrame(data)

delta_i = 0.000001
r_i = 0.0

# Provided formula.
def adjust_proportion(r_j, r_i, delta_i):
    return r_j - ((r_j / (1 - r_i)) * delta_i)

# For row-wise application.
def adjust_row(row, r_i, delta_i):

    # Get all zeros and their count in the row.
    zero_mask = (row == 0)
    zero_count = row[zero_mask].shape[0] # Get only x.

    # For every zero, adjust proportions for "cells" not in mask.
    for i in range(zero_count):
        row[~zero_mask] = row[~zero_mask].apply(lambda x: adjust_proportion(x, r_i, delta_i))

    # Increase the mask by delta_i across the board.
    row[zero_mask] += delta_i

    return row

# Apply ROW-WISE using axis=1.
df.apply(lambda x: adjust_row(x, r_i, delta_i), axis=1)
print(df)

# Check sums.
print(df.apply(lambda x: x.sum(), axis=1))

这给出了以下结果：

还有更优化的方法，但这应该考虑到一般逻辑。

Answer 2

你可以使用：

def exclude_zero(e, delta_i):
    """Replace zeros with a delta_i value by keeping the other non zeros value in the same distribution and total sum to 1"""

    zero_count = e.count(0)
    extra_amount = zero_count * delta_i

    for index, value in enumerate(e):
        if value == 0 :
            e[index] = delta_i
        else:
            e[index] = value * (1 - extra_amount)

    return e

data = {'X1': [0.21, 0.08, 0.57, 0.03],
        'X2': [0.27, 0.56, 0.0, 0.02],
        'X3': [0.0, 0.14, 0.0, 0.45],
        'X4': [0.13, 0.02, 0.26, 0.37],
        'X5': [0.39, 0.2, 0.17, 0.13]}

df = pd.DataFrame(data)

for index in range(len(df)):
    df.iloc[index] = exclude_zero(df.iloc[index].values.tolist(), 0.000001)

pd.options.display.precision = 8

df