【问题标题】:how can we write large DataFrame into excel file quickly in pandas?我们如何在 pandas 中快速将大型 DataFrame 写入 excel 文件?
【发布时间】:2019-06-03 13:11:17
【问题描述】:
import pandas as pd  
df=pd.read_csv("C:/Users/Admin/Desktop/10lakhhhhh.csv") 
writer = pd.ExcelWriter('C:/Users/Admin/Desktop/df/media/pandasEx.xlsx',engine ='xlsxwriter') 
df.to_excel(writer, sheet_name ='10lakhhhhh')  
writer.save()

【问题讨论】:

  • 如果openpyxl 比 pandas Excelwriter 快,你可以试试。在我的测试中,到目前为止它更快。

标签: python pandas numpy dataframe dask


【解决方案1】:

有一个名为modin 的新模块。它可以用来快速读取大量数据:

安装

pip install modin

代码

import modin.pandas as pd
df = pd.read_csv('C:/Users/Admin/Desktop/10lakhhhhh.csv')

【讨论】:

  • 但这将读取 csv ..我想在 excel 中快速写入 csv 数据帧
  • 如果我没记错的话,如果你用这个尝试pd.to_excel(..)...它也会很快做到这一点..因为你现在将modin.pandas定义为pd
  • 但是 modin 没有安装 python 3.7
  • 我使用 python 3.5 并且它可以工作..所以不确定!!
  • 无法安装还是需要更多时间?
猜你喜欢
  • 1970-01-01
  • 2013-05-31
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2017-07-29
  • 2018-05-05
相关资源
最近更新 更多