使用 Python/Pandas 匹配样本对年度数据答案

【问题标题】：Use Python/Pandas to Match Sample Pairs Yearly Data使用 Python/Pandas 匹配样本对年度数据
【发布时间】：2015-07-02 07:31:00
【问题描述】：

虽然这听起来像是统计问题，但请耐心等待。

我从不同采样地点收集的水样中获得了几种钙浓度。每月、每年、每隔一年在一些站点对水进行重新取样。

我想使用 Lindsey 和 Rupert (http://pubs.usgs.gov/sir/2012/5049/) 执行的 Wilcoxon-Pratt 符号秩检验来测量各站组钙浓度的年度和十年变化。为了进行测试，我想创建以一年（365 天的时间增量）或尽可能接近该时间范围的数据对。成对测量应该有相同的月份，只是不同的年份。每个站每个月我只需要一对。我不希望对共享同一站点、月份和年份的样本的样本浓度进行平均。

这是我的数据示例： https://raw.githubusercontent.com/inkenbrandt/IPython/master/Calcium_Samples.csv

                SampleLocation  CalciumConc_mgL
SampleDate                                     
10/1/1947 0:00   USGS-09382000             66.0
10/15/1947 0:00  USGS-09382000            132.0
1/1/1948 0:00    USGS-09382000            130.0
1/15/1948 0:00   USGS-09382000             98.0
5/1/1948 0:00    USGS-09382000             82.0
5/15/1948 0:00   USGS-09382000             53.0
6/1/1948 0:00    USGS-09382000            142.0
9/1/1948 0:00    USGS-09382000            107.0
9/15/1948 0:00   USGS-09382000             59.0
10/1/1948 0:00   USGS-09382000            106.0
10/15/1948 0:00  USGS-09382000            102.0
5/15/1949 0:00   USGS-09382000             59.0
6/1/1949 0:00    USGS-09382000             50.0
6/15/1949 0:00   USGS-09382000            161.0
9/1/1949 0:00    USGS-09382000             82.0
9/15/1949 0:00   USGS-09382000            376.0
10/1/1949 0:00   USGS-09382000            210.0
10/15/1949 0:00  USGS-09382000            131.0
1/1/1950 0:00    USGS-09382000            132.0
...                        ...              ...
9/20/1947 0:00   USGS-09288500             59.0
9/20/1947 0:00   USGS-09288500             59.0
6/9/1948 0:00    USGS-09288500             51.0
6/9/1948 0:00    USGS-09288500             51.0
9/29/1948 0:00   USGS-09288500             51.0
9/29/1948 0:00   USGS-09288500             51.0
9/10/1949 0:00   USGS-09288500             40.0
5/19/1941 0:00   USGS-09295000             33.0
6/16/1941 0:00   USGS-09295000              3.4
5/11/1947 0:00   USGS-09295000             42.0
6/22/1947 0:00   USGS-09295000             32.0
9/20/1947 0:00   USGS-09295000             97.0
6/9/1948 0:00    USGS-09295000             37.0
9/29/1948 0:00   USGS-09295000            126.0
9/10/1949 0:00   USGS-09295000             93.0

[429 rows x 2 columns]

我想生成一个看起来像这样的 Pandas 数据框：

SampleLocation   SampleDate1     CaConc1    SampleDate2     CaConc2
USGS-09382000    10/1/1947 0:00     66.0    10/1/1948 0:00    106.0
USGS-09382000    10/15/1947 0:00   132.0    10/15/1948 0:00   102.0
USGS-09382000    5/15/1948 0:00     53.0    5/15/1949 0:00     59.0
...              ...                 ...    ...                 ...
USGS-09288500    9/20/1947 0:00     59.0    9/29/1948 0:00     51.0

我相信这可以使用 Pandas 中的多索引功能来解决。到目前为止，我已经查看了以下 stackoverflow 问题，以获取匹配日期和使用索引进行操作的帮助：

我认为第二个链接使用 unstacking multi-indexes 非常接近，如果我愿意聚合，我可能能够执行此操作，但我试图避免这种情况。

此技术适用于希望分析具有季节性趋势的数据的其他人，例如比较同一天或接近同一天的河流流量或累积降水或温度。

【问题讨论】：

您可以使用时间增量（例如 365 天），或者在日期之后查看“一年”，在这种情况下，您必须考虑闰年、缺少数据点等. 你更喜欢哪一个？
@Alexander 时间增量听起来更容易实现，所以我更喜欢这样。我已经编辑了帖子以反映我的偏好。
可能会让您接近正确答案并且速度非常快的方法是resample，然后是shift。

标签： python pandas match time-series multi-index

【解决方案1】：

这个方法有点乱，但我正在努力使它更健壮，以解决丢失的数据。

首先，我们将删除数据中的重复项，然后将日期转换为 Pandas 时间戳：

df = df.drop_duplicates()
df.SampleDate = [pd.Timestamp(ts) for ts in df.SampleDate]

然后让我们安排你的 DataFrame，以便它在一组唯一的日期上被索引（列将是位置 ID）：

df2 = df.pivot_table(values='CalciumConc_mgL', 
                     index='SampleDate', 
                     columns='SampleLocation').ffill()

我已经填写了这些值，以使结果更加可靠。您可能希望限制可能向前填充的天数（例如 .ffill(limit=30)）。

现在我们可以将这个 DataFrame 移动 365 个日期：

df2_lagged = df2.shift(365)

堆叠 df2 和 df2_lagged 的 SampleLocation：

df2 = pd.DataFrame(df2.stack('SampleLocation', dropna=False))
df2_lagged = df2_lagged.stack('SampleLocation', dropna=False)

现在将滞后数据合并到 df2。 DataFrame 具有完全相同的结构，因此您只需复制值即可：

df2['lagged_val'] = df2_lagged

最后，交换位置和日期并重命名列：

result = df2.swaplevel(0, 1)
result.columns = ['CalciumConc_mgL', 'CalciumConc_mgL_lagged_12m']

使用 60 天的延迟作为示例数据：

>>> result
result.tail(10)
                                 CalciumConc_mgL  CalciumConc_mgL_lagged_12m
SampleLocation       SampleDate                                             
USGS-421548113205301 1950-01-01               59                          59
USGS-422818113225801 1950-01-01               59                         NaN
USGS-423200113472601 1950-01-01               33                          33
USGS-424006113355301 1950-01-01               62                          54
USGS-424142113340901 1950-01-01               54                          54
USGS-424348113242701 1950-01-01               40                         NaN
USGS-424431113412301 1950-01-01               46                         NaN
USGS-424511113291401 1950-01-01               38                          38
USGS-424518113282002 1950-01-01               39                          39
USGS-424659113433701 1950-01-01               39                          39

仅索引位置 ID：

result = result.reset_index().set_index('SampleLocation')

>>> result.loc['USGS-09402500', :]
        CalciumConc_mgL  CalciumConc_mgL_lagged_12m
SampleDate                                             
1941-05-18              NaN                         NaN
1941-05-19              NaN                         NaN
1941-06-16              NaN                         NaN
1941-10-01              102                         NaN
1941-10-12              132                         NaN
1941-10-21              119                         NaN
1943-09-18              110                         NaN
1943-10-01              138                         NaN
1943-10-11              140                         NaN
1943-10-12              140                         NaN
1943-10-14              140                         NaN
1943-10-21              156                         NaN
1944-01-01              116                         NaN
1944-01-11              126                         NaN
1944-01-13              126                         NaN
1944-01-21              133                         NaN
1944-05-01               84                         NaN
1944-05-11               84                         NaN
1944-05-13               66                         NaN
1944-05-15               66                         NaN
1944-05-16               66                         NaN
1944-05-21               57                         NaN
1944-05-22               57                         NaN
1944-06-01               58                         NaN
1944-06-11               57                         NaN
1944-06-21               57                         NaN
1944-09-01              134                         NaN
1944-09-11              122                         NaN
1944-09-15              122                         NaN
1944-09-18              122                         NaN
...                     ...                         ...
1949-05-03               63                          62
1949-05-11               63                          62
1949-05-15               63                          62
1949-05-21               57                          62
1949-06-01               58                         133
1949-06-09               58                         128
1949-06-10               58                         128
1949-06-11               74                         128
1949-06-12               74                         128
1949-06-13               74                         124
1949-06-15               74                         112
1949-06-21               67                         123
1949-06-23               67                         123
1949-06-30               67                         123
1949-09-01              142                         123
1949-09-09              142                         123
1949-09-10              142                         131
1949-09-11              140                         106
1949-09-15              140                         108
1949-09-21              146                         108
1949-09-28              146                         102
1949-10-01              156                         102
1949-10-11              153                         102
1949-10-13              153                          68
1949-10-14              153                          68
1949-10-15              153                          63
1949-10-21              152                          63
1949-10-27              152                          63
1949-10-28              152                          63
1950-01-01              128                          60

【讨论】：

如果这是一个愚蠢的问题，我深表歉意，但是您在脚本中如何以及在何处实现“60 天延迟样本数据”
df2_lagged = df2.shift(365)。将 365 替换为 60。样本数据不足以应对 365 天的滞后，因此我使用 60 天来说明这一点。