【发布时间】:2019-05-06 08:38:04
【问题描述】:
我有一个相当大的 (20GB) CSV 文件,我需要修改其中的一些列。 逐行导入数据表的最优化方式是什么(或者每次读取可能几千行)? 我已经尝试了下面给出的解决方案 What is a good way to read line-by-line in R?
但它似乎很慢。是否有任何库可以在表结构本身中逐行读取 - 还有某种 Buffer 逻辑可以加快读取速度?
【问题讨论】:
标签: r
我有一个相当大的 (20GB) CSV 文件,我需要修改其中的一些列。 逐行导入数据表的最优化方式是什么(或者每次读取可能几千行)? 我已经尝试了下面给出的解决方案 What is a good way to read line-by-line in R?
但它似乎很慢。是否有任何库可以在表结构本身中逐行读取 - 还有某种 Buffer 逻辑可以加快读取速度?
【问题讨论】:
标签: r
您可以使用来自data.table 的快速fread()。
skip= 是设置读取段的开头,nrow= 是要读取的行数。
【讨论】: