SQLite 到 Pandas - 速度

Question

我最近从使用 SAS 切换到 Python。我想用 Python 做一些 SQL 查询。我按如下方式进行操作（table1 和 table2 是 pandas 数据框）：

import pandas as pd
import sqlite3
sql = sqlite3.connect(':memory:')
c = sql.cursor()

table1.to_sql('table1sql', sql, if_exists='replace', index=False)
table2.to_sql('table2sql', sql, if_exists='replace', index=False)

df_sql = c.execute('''
                      SELECT a.*, b.*
                      FROM table1sql as a
                      LEFT JOIN table2sql as b
                      ON a.id = b.id

                      ''')

df = pd.DataFrame(df_sql.fetchall())
df.columns = list(map(lambda x: x[0], c.description)) # get column names from sql cursor

我使用非常大的数据集。有时多达 60 次 mio 观察。查询本身需要几秒钟。但是，“获取”数据集，即将 sql 数据帧转换为 pandas 数据帧，需要很长时间。

在 SAS 中，整个 SQL 查询需要几秒钟的时间。我这样做的方式效率低吗？有没有其他方法可以做我想做的事情？

Answer 1

import pandas as pd
import sqlite3

# Connect to sqlite3 instance
con = sqlite3.connect(':memory:')

# Read sqlite query results into a pandas DataFrame
df = pd.read_sql_query('''
    SELECT a.*, b.*
    FROM table1sql as a
    LEFT JOIN table2sql as b
    ON a.id = b.id
  ''',
  con
)

# Verify that result of SQL query is stored in the dataframe
print(df.head())

con.close()

文档：https://pandas.pydata.org/docs/reference/api/pandas.read_sql_query.html?highlight=read%20sql%20query#pandas.read_sql_query

编辑

等等，我刚刚重新阅读了你的问题，来源已经是 pandas 数据帧？？？

您为什么要将它们推送到 SQLite，只是为了再次读取它们？只需使用pd.merge()？

df = pd.merge(
    table1,
    table2,
    how="left",
    on="id",
    suffixes=("_x", "_y"),
    copy=True
)

文档：https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.merge.html#pandas.merge