目前没有流行的方式来做到这一点。
这个答案曾经是关于解决多态性问题,结果证明这是一个非常糟糕的主意。
然后numpy.piecewise函数出现在另一个答案中,但几乎没有解释,所以我想我会澄清如何使用这个函数。
Numpy 方式与分段(内存重)
np.piecewise 函数可用于生成自定义连接的行为。这涉及很多开销,而且效率不高,但它可以完成这项工作。
加盟条件
import pandas as pd
from datetime import datetime
presidents = pd.DataFrame({"name": ["Bush", "Obama", "Trump"],
"president_id":[43, 44, 45]})
terms = pd.DataFrame({'start_date': pd.date_range('2001-01-20', periods=5, freq='48M'),
'end_date': pd.date_range('2005-01-21', periods=5, freq='48M'),
'president_id': [43, 43, 44, 44, 45]})
war_declarations = pd.DataFrame({"date": [datetime(2001, 9, 14), datetime(2003, 3, 3)],
"name": ["War in Afghanistan", "Iraq War"]})
start_end_date_tuples = zip(terms.start_date.values, terms.end_date.values)
conditions = [(war_declarations.date.values >= start_date) &
(war_declarations.date.values <= end_date) for start_date, end_date in start_end_date_tuples]
> conditions
[array([ True, True], dtype=bool),
array([False, False], dtype=bool),
array([False, False], dtype=bool),
array([False, False], dtype=bool),
array([False, False], dtype=bool)]
这是一个数组列表,其中每个数组告诉我们术语时间跨度是否与我们拥有的两个战争声明中的每一个相匹配。 条件可能会随着更大的数据集而爆炸,因为它将是左侧 df 和右侧 df 的长度相乘。
分段的“魔法”
现在分段将从条款中取出 president_id 并将其放入每个相应战争的 war_declarations 数据框中。
war_declarations['president_id'] = np.piecewise(np.zeros(len(war_declarations)),
conditions,
terms.president_id.values)
date name president_id
0 2001-09-14 War in Afghanistan 43.0
1 2003-03-03 Iraq War 43.0
现在要完成这个例子,我们只需要定期合并总统的名字。
war_declarations.merge(presidents, on="president_id", suffixes=["_war", "_president"])
date name_war president_id name_president
0 2001-09-14 War in Afghanistan 43.0 Bush
1 2003-03-03 Iraq War 43.0 Bush
多态性(不起作用)
我想分享我的研究成果,所以即使这不能解决问题,我也希望它能够作为有用的回复留在此处至少。由于很难发现错误,其他人可能会尝试这样做并认为他们有一个可行的解决方案,而实际上他们没有。
我能想到的唯一另一种方法是创建两个新类,一个 PointInTime 和一个 Timespan
两者都应该有 __eq__ 方法,如果将 PointInTime 与包含它的 Timespan 进行比较,它们将返回 true。
之后,您可以用这些对象填充 DataFrame,并加入它们所在的列。
类似这样的:
class PointInTime(object):
def __init__(self, year, month, day):
self.dt = datetime(year, month, day)
def __eq__(self, other):
return other.start_date < self.dt < other.end_date
def __ne__(self, other):
return not self.__eq__(other)
def __repr__(self):
return "{}-{}-{}".format(self.dt.year, self.dt.month, self.dt.day)
class Timespan(object):
def __init__(self, start_date, end_date):
self.start_date = start_date
self.end_date = end_date
def __eq__(self, other):
return self.start_date < other.dt < self.end_date
def __ne__(self, other):
return not self.__eq__(other)
def __repr__(self):
return "{}-{}-{} -> {}-{}-{}".format(self.start_date.year, self.start_date.month, self.start_date.day,
self.end_date.year, self.end_date.month, self.end_date.day)
重要提示:我不继承 datetime,因为 pandas 会将 datetime 对象列的 dtype 视为 datetime dtype,并且由于 timespan 不是,pandas 默默地拒绝合并它们。
如果我们实例化这些类的两个对象,现在可以比较它们:
pit = PointInTime(2015,1,1)
ts = Timespan(datetime(2014,1,1), datetime(2015,2,2))
pit == ts
True
我们还可以用这些对象填充两个 DataFrame:
df = pd.DataFrame({"pit":[PointInTime(2015,1,1), PointInTime(2015,2,2), PointInTime(2015,3,3)]})
df2 = pd.DataFrame({"ts":[Timespan(datetime(2015,2,1), datetime(2015,2,5)), Timespan(datetime(2015,2,1), datetime(2015,4,1))]})
然后是合并类型的作品:
pd.merge(left=df, left_on='pit', right=df2, right_on='ts')
pit ts
0 2015-2-2 2015-2-1 -> 2015-2-5
1 2015-2-2 2015-2-1 -> 2015-4-1
但只是一种。
PointInTime(2015,3,3) 也应该包含在 Timespan(datetime(2015,2,1), datetime(2015,4,1)) 上的此联接中
但事实并非如此。
我认为 pandas 将 PointInTime(2015,3,3) 与 PointInTime(2015,2,2) 进行比较,并假设由于它们不相等,PointInTime(2015,3,3) 不能等于 Timespan(datetime(2015,2,1), datetime(2015,4,1)),因为这个时间跨度等于 PointInTime(2015,2,2)
有点像这样:
Rose == Flower
Lilly != Rose
因此:
Lilly != Flower
编辑:
我试图使所有 PointInTime 彼此相等,这改变了联接的行为以包括 2015-3-3,但 2015-2-2 仅包含在 Timespan 2015-2-1 -> 2015-2-5,所以这加强了我的上述假设。
如果有人有其他想法,请评论,我可以试试。