【发布时间】：2018-05-09 00:13:41
【问题描述】：
我有一个数百万条记录的 SQL 表，我计划使用 pyarrow 库将其写入文件夹中的许多 parquet 文件。数据内容似乎太大，无法存储在单个 parquet 文件中。
但是，我似乎无法使用 pyarrow 库找到允许我指定以下内容的 API 或参数：
file_scheme="hive"
由 fastparquet python 库支持。
这是我的示例代码：
#!/usr/bin/python
import pyodbc
import pandas as pd
import pyarrow as pa
import pyarrow.parquet as pq
conn_str = 'UID=username;PWD=passwordHere;' +
'DRIVER=FreeTDS;SERVERNAME=myConfig;DATABASE=myDB'
#----> Query the SQL database into a Pandas dataframe
conn = pyodbc.connect( conn_str, autocommit=False)
sql = "SELECT * FROM ClientAccount (NOLOCK)"
df = pd.io.sql.read_sql(sql, conn)
#----> Convert the dataframe to a pyarrow table and write it out
table = pa.Table.from_pandas(df)
pq.write_table(table, './clients/' )
这会引发错误：
File "/usr/local/lib/python2.7/dist-packages/pyarrow/parquet.py", line 912, in write_table
os.remove(where)
OSError: [Errno 21] Is a directory: './clients/'
如果我将最后一行替换为以下内容，它可以正常工作，但只写入一个大文件：
pq.write_table(table, './clients.parquet' )
有什么想法可以用 pyarrow 进行多文件输出吗？
【问题讨论】：
-
你有没有找到一种方法来对使用 pyarrow 写入的数据进行分区？
标签： python hadoop parquet apache-drill pyarrow