附加数据框的更有效方式

Question

我正在运行一些测试，发现这里的这段代码效率低下。在日期范围内循环，如果self.query 在df 中，则附加该行，非常简单。但是我听到了很多意见，认为这样的附加效率不高，甚至会消耗资源。
我的镶木地板有 4 列数百万行 - query phone_count desktop_count total，下降 2 列，这意味着我有 index、query 和 total，然后奇迹发生了。

这段代码工作“很好”，但现在我正在寻找有经验的用户的意见，并可能得到一些提示。

有没有更有效的方法来做同样的事情？元组可能吗？

谢谢你们！

    for filename in os.listdir(directory):
        if filename.endswith(".parquet"):
            df = pd.read_parquet(directory).drop(["phone_count","desktop_count"], axis=1)
            df.set_index("query", inplace=True)

            if self.lowercase == "on":
                df.index = df.index.str.lower()
            else:
                pass
            if self.sensitive == "on":                            
                self.datafr = self.datafr.append(df.filter(regex=re.compile(self.query), axis=0))
            else:            
                self.datafr = self.datafr.append(df.filter(regex=re.compile(self.query, re.IGNORECASE), axis=0))            


self.datafr = self.datafr.groupby(['query']).sum().sort_values(by='total', ascending=False)

Answer 1

每个循环都在重复一些事情：

• 正则表达式模式不需要每次都重新编译
• 重复DataFrame.append 比pd.concat([frame1, frame2, ...]) 慢
• list.append 比 DataFrame.append 快​​很多

试试这个：

option = re.IGNORECASE if self.lowercase == "on" else 0
pattern = re.compile(self.query, option)
subframes = []

for filename in os.listdir(directory):
    if filename.endswith(".parquet"):
        df = pd.read_parquet(directory).drop(["phone_count","desktop_count"], axis=1)
        df.set_index("query", inplace=True)

        # Not sure if this statement is necessary. The regex
        # is already IGNORECASE when lowercase == "on"
        if self.lowercase == "on":
            df.index = df.index.str.lower()

        # Multiple list.append
        subframes.append(df.filter(pattern, axis=0))

# But a single pd.concat
self.datafr = pd.concat([self.datafr] + subframes)