Python PANDAS：新列，对所有行应用唯一值

Question

作为一个在数据分析领域花费更多时间而不是正确编程的人，只是在寻找一种最佳方法（向你们所有人致敬）。非常简单的大型 ETL 项目，但在 Python 中手动编码，这是第一次。固定宽度文件已成功读入初始 PANDAS df。

我正在尝试添加一个带有静态月末日期值（例如 2014 年 1 月 31 日）的新列，以指示“数据月份”以进行进一步的 EDW 处理。最终，我将使用 datetime/timedelta 功能将此值作为我在实用程序服务器上 CRON 时自动生成的值传递。

我的困惑似乎是关于使用哪个函数（apply、mapapply 等），如果我需要引用原始 df 中的索引值以将完全不相关的值应用于初始 df，并且最优化， pythonic方式来完成这个。

当前参考：“Python for Data Analysis”，PANDAS Docs。谢谢！

编辑

下面是一些固定宽度数据的小例子：

5151022314 
5113 22204
111  20018

这是一些将其读入 PANDAS df 的代码：

import pandas as pd
import numpy as np

path = 'C:\Users\Office\Desktop\example data.txt' 
widths = [2, 3, 5]
names = (['STATE_CD', 'CNTY_CD', 'ZIP_CD',])

df = pd.read_fwf(path, names=names, widths=widths, header=0)

对于上面的示例日期，这应该返回类似这样的 df：

STATE_CD,CNTY_CD,ZIP_CD
51,510,22314     
51,1  ,22204
11,3  ,20018

我要做的是为所有行添加一个像这样的列“DATA_MM”：

STATE_CD,CNTY_CD,ZIP_CD, DATA_MM
51,510,22314,2014-01-31     
51,1  ,22204,2014-01-31
11,3  ,20018,2014-01-31

最终，我希望利用这样的东西来生成在这个月度工作开始时自动应用的价值：

import datetime
today = datetime.date.today()
first = datetime.date(day=1, month=today.month, year=today.year)
lastMonth = first - datetime.timedelta(days=1)
print lastMonth.strftime("%Y-%m-%d")

Answer 1

如果您想用不依赖于原始 DataFrame 的新值填充列，则无需引用原始索引。您可以通过简单地为其分配新值来填充新列：

df["DATA_MM"] = date

您可以通过使用datetime 和calendar 获取当月的最后一天：

import datetime
import calendar

today = datetime.date.today()
y = today.year
m = today.month
eom = datetime.date(y, m, calendar.monthrange(y, m)[1])

df["DATA_MM"] = eom

monthrange 返回一个包含该月第一天和最后一天的元组，因此 [1] 引用该月的最后一天。您也可以使用@Alexander 的方法来查找最后一天的日期，并将其直接分配给列而不是applying。

Answer 2

假设您的 DataFrame 被命名为 df 并且它有一个时间戳的日期列，您希望获取其月末 (EOM) 值：

df['EOM date'] = df.date.apply(lambda x: x.to_period('M').to_timestamp('M'))

您将对象强制转换为 Pandas Period 对象，然后返回到月底时间戳，因此它可能不是最有效的方法。

这是一个带有一些性能统计数据的替代实现：

dates = pd.date_range('2000-1-1', '2015-1-1')
df = pd.DataFrame(dates, columns=['date'])

%%timeit
df.date.apply(lambda x: x.to_period('M').to_timestamp('M'))
10 loops, best of 3: 161 ms per loop

%%timeit
df.date.apply(lambda x: x + pd.datetools.MonthEnd())
1 loops, best of 3: 177 ms per loop

只需从当前日期获取月末日期的 DATETIME.DATE（根据下面的请求）可以实现如下：

pd.Timestamp(dt.datetime.now()).to_period('M').to_timestamp('M').date()