在同一数据框中迭代地比较列值答案

【问题标题】：Compare columns values iteratively in the same dataframe在同一数据框中迭代地比较列值
【发布时间】：2021-01-11 17:16:12
【问题描述】：

我的最终目标是去除重叠的基因。为了做到这一点，我确定了三个条件，但我不会详细介绍它们。如果您需要它们来提供替代方法，我可以提及它们。

基本上，我想比较两列的值（int64）。但是，我想这样做，单行应与所有剩余行进行比较，如果满足条件，则应依次对下一行和其他行执行相同的步骤。

我需要检查数据框中的每一行是否满足给定条件。在此过程中，我需要使用两列的（“开始”和“结束”）值。您可以在下面的伪代码中看到其中一种情况。

如果满足以下条件，我想删除行 (DF2.loc[row_loop]) 或创建一个新列并分配一个标签，使我能够了解是否存在重叠。然后，我可以删除这些行。

条件：

(rowA ["Start"] >= rowB ["Start"]) and (rowA ["Start"] = rowB ["Start "]) 和 (rowA ["End"] >= rowB ["End"])

这就是我的数据框的样子：

DF2.head()

	Chromosome_Name	Sequence_Source	Sequence_Feature	Start	End	Strand	Gene_ID
0	1	ensembl_havana	gene	14363	34806	-	"ENSG00000227232"
1	1	havana	gene	89295	138566	-	"ENSG00000238009"
2	1	havana	gene	141474	178862	-	"ENSG00000241860"
3	1	havana	gene	227615	272253	-	"ENSG00000228463"
4	1	ensembl_havana	gene	312720	453948	+	"ENSG00000237094"

这就是我目前所拥有的：

for ref_row in range(0, len(DF2) - 1):
   for row_loop in range(ref_row + 1, len(DF2)):
     if (DF2.loc[ref_row, ["Start"]] >= DF2.loc[row_loop, ["Start"]]) & (DF2.loc[ref_row, ["Start"]] <= DF2.loc[row_loop, ["End"]]) & (DF2.loc[ref_row, ["End"]] >=  DF2.loc[row_loop, ["Start"]]) & (DF2.loc[ref_row, ["End"]] >= DF2.loc[row_loop, ["End"]]):
        DF2.drop(row_loop)

运行上述代码后，我得到一个 ValueError，上面写着“只能比较标记相同的系列对象。”

我还将 if 条件替换为：

DF2["Overlap"] = np.where((DF2.loc[ref_row, ["Start"]] >= DF2.loc[row_loop, ["Start"]]) & (DF2.loc[ref_row, ["Start"]] <= DF2.loc[row_loop, ["End"]]) & (DF2.loc[ref_row, ["End"]] >=  DF2.loc[row_loop, ["Start"]]) & (DF2.loc[ref_row, ["End"]] >= DF2.loc[row_loop, ["End"]]), np.nan, DF2["Gene_Name"])

但仍然得到相同的 ValueError。

谁能为我提供解决方案或另一种方法来实现我的目标？

提前致谢。

顺便说一句，我为我的英语感到抱歉。我很难通过写作来解释我的目标，希望你明白了。

【问题讨论】：

在您的第一个条件中，您引用了DF 变量。这是一个错误吗？所有其他条件都引用DF2，而您永远不会谈论DF 变量。
在迭代行时要小心删除行。您会遇到索引错误。您创建重叠布尔列的第二个尝试解决方案是一个更好的解决方案。
是的，我的错。我已经更正了变量名。谢谢你告诉我我的错误。我仍在努力为我的问题寻找答案。我意识到，事实上，在整个数据中迭代和比较同一行会导致从数据框中删除额外的行。我认为在迭代行之前，首先，我需要根据染色体名称（从 1 到 23）对数据框进行分组，然后，我应该迭代并比较每个组内的行，而不是与属于其他染色体组的行。
顺便说一句，我不明白代码中的一个想法。当您说DF2["Overlap"] = False 时，它不会创建一个值为False 的列吗？所以，我不明白这行代码 (if DF2.loc[ref_row]["Overlap"] != False:) 将如何工作？因为，所有的行值都是 False，我怎么能期望看到不是 False 的行？您的代码可能非常简单，但我是编程语言的新手，所以提前为我的奇怪问题道歉。
你是对的。 DF2["Overlap"] = False 创建一行所有错误值。但条件if DF2.loc[ref_row]["Overlap"] != False 仅适用于DF2.loc[ref_row] 行。

标签： python pandas dataframe compare bioinformatics

【解决方案1】：

根据您的演示数据和代码：

构建测试数据框（这应该包含在以后的问题中）

DF2 = {
'Chromosome_Name': [1, 1, 1, 1, 1], 
'Sequence_Source': ['ensembl_havana', 'havana', 'havana', 'havana', 'ensembl_havana'], 
'Sequence_Feature': ['gene', 'gene', 'gene', 'gene', 'gene'], 
'Start': [14363, 89295, 141474, 227615, 312720], 
'End': [34806, 138566, 178862, 272253, 453948], 
'Strand': ['-', '-', '-', '-', '+'],
'Gene_ID': ['ENSG00000227232', 'ENSG00000238009', 'ENSG00000241860', 'ENSG00000228463', 'ENSG00000237094']
}

指定重叠的行

DF2["Overlap"] = False # create column to track overlap
for ref_row in range(0, len(DF2)-1):
    for row_loop in range(ref_row+1, len(DF2)):
        # update overlap to true, does not allow revert to False
        if DF2.loc[ref_row]["Overlap"] != False:
            DF2[ref_row]["Overlap"] = np.where(
                (DF2.loc[ref_row]["Start"] >= DF2.loc[row_loop]["Start"]) & \
                (DF2.loc[ref_row]["Start"] <= DF2.loc[row_loop]["End"]) & \
                (DF2.loc[ref_row]["End"] >=  DF2.loc[row_loop]["Start"]) & \
                (DF2.loc[ref_row]["End"] >= DF2.loc[row_l]["End"])
            )

为了简化，我从条件中删除了 np.nan 和 DF2["Gene_Name"]。在当前条件下，没有发现重叠。您可能希望将条件分解为两部分：

A 在 B 里面吗？
B 在 A 里面吗？

您遇到的错误是由于.loc使用不当造成的。

DF2.loc[2, ["Start"]]
Out: 
Start    141474
Name: 2, dtype: object

DF2.loc[2]["Start"]
Out: 141474

【讨论】：