【发布时间】:2018-12-15 05:28:53
【问题描述】:
这是我在 Stack Overflow 上的第一个问题,如果我的问题不清楚,请告诉我如何帮助您。
目标:使用 Python 和 Pandas 外连接(或合并)包含不同实验试验的数据集,其中每个试验的“x”轴非常相似,但有一些偏差。最重要的是,“x”轴增加、达到最大值然后减小,通常与先前存在的“x”点重叠。
问题:当我去加入/合并“x”上的数据集时,“x”列被排序,弄乱了收集数据的顺序,无法正确绘制它。
这是我正在尝试做的一个小例子:
不让我添加图片,因为我是新人。这是生成这些示例数据集的代码。
数据集:
进口:
import numpy as np
import pandas as pd
import random as rand
代码:
T1 = {'x':np.array([1,1.5,2,2.5,3,3.5,4,5,2,1]),'y':np.array([10000,8500,7400,6450,5670,5100,4600,4500,8400,9000]),'z':np.array(rand.sample(range(0,10000),10))}'
T2 = {'x':np.array([1,2,3,4,5,6,7,2,1.5,1]),'y':np.array([10500,7700,5500,4560,4300,3900,3800,5400,8400,8800]),'z':np.array(rand.sample(range(0,10000),10))}
Trial1 = pd.DataFrame(T1)
Trial2 = pd.DataFrame(T2)
尝试合并/加入:
WomboCombo = Trial1.join(Trial2,how='outer',lsuffix=1,rsuffix=2, on='x')
WomboCombo2 = pd.merge(left=Trial1, right= Trial2, how = 'outer', left
尝试分成两部分,增加部分和减少部分(手动找到数据“x”开始减少的行号):
Trial1Inc = Trial1[0:8]
Trial2Inc = Trial2[0:7]
结果 - 合并效果很好,与“x”列连接混乱,不知道为什么:
Trial1Inc.merge(Trial2Inc,on='x',how='outer', suffixes=[1,2])
Incrementing section Merge Result
Trial1Inc.join(Trial2Inc,on='x',how='outer', lsuffix=1,rsuffix=2)
Incrementing section Join Result 希望我的例子很清楚,试验 1 中的“x”列增加到 5,然后减少回 0。在试验 2 中,我稍微改变了测试,因为我注意到我需要的数据“x”值稍高。 Trial 2 增加至 7,然后迅速减少回 0。
我的最终目标是绘制所有 y 值的平均值(试验之间存在重叠的地方)与相应的 x 值。
如果有重叠,我可以添加误差线。 Pandas 对我正在尝试做的事情几乎是完美的,因为外连接会在没有重叠的地方添加空值,并且能够在有重叠时水平连接两个试验。
现在剩下的就是弄清楚如何加入“x”列,但要保持其值递增然后递减的顺序。首先增加“x”然后减少它对我来说很重要的原因是,当查看“y”值时,似乎给定“x”处的初始“y”值大于“y” " x" 减小时的值(EG 在试验 1 中 x=1,y=10000,然而,在试验后期,当我们回到 x=1,y=9000 时,这种趋势很重要。当 Pandas 对合并之前的列,而不是有一条干净的曲线显示“y”随着“x”的增加而减少,然后相反,在数据连接的任何点都有垂直向下的跳跃。
我非常感谢任何帮助:
A) 当“x”包含重复项时,让我加入“x”的完美解决方案
B) 一种将数据集拆分为递增“x”和递减“x”的有效方法,以便我可以分别合并每个试验的递增和递减部分,然后垂直连接它们。
希望我在解释我想解决的问题方面做得很好。如果我能澄清任何事情,请告诉我,
感谢您的帮助!
【问题讨论】:
-
能否添加包含 pd.merge 以及 numpy 和 rand 的导入的自包含代码?我的想法是考虑使用索引而不是 x 进行合并。我认为这会阻止对 x 进行排序,但我想在回答之前在代码中尝试一下。
-
您可以根据“x”值(前半部分单调递增,后半部分单调递减)将每个数据帧分成两部分,并分别进行连接。
-
@DavidGaertner 感谢您的回复。我更新了我的帖子,请注意,试验不一定有相同数量的数据点,有的有 30 个,有的有 1000 个。期待看到我们如何在索引上合并,但仍然要确保排列所有“x”值在一起。
-
@xyzjayne 我同意你关于解决方案的想法,有没有一种有效的方法将数据集分成两部分?一半增加一半减少?
标签: python pandas numpy dataframe outer-join