【发布时间】:2018-06-05 12:03:37
【问题描述】:
如果我在greenplum数据库的CREATE EXTERNAL TABLE中为LOCATION指定多个URI,它会并行加载文件吗?还是加载整个文件与将文件拆分为多个文件并加载它们没有区别?
Official Doc
【问题讨论】:
如果我在greenplum数据库的CREATE EXTERNAL TABLE中为LOCATION指定多个URI,它会并行加载文件吗?还是加载整个文件与将文件拆分为多个文件并加载它们没有区别?
Official Doc
【问题讨论】:
文件按命令按顺序加载。 如果指定多个文件,例如:gpfdist://data/file_*
然后所有这些文件将按顺序加载,同时由所有段加载。
您可以通过将文件拆分到多个 gpfdist 实例来实现更快的并发加载。
例如: gpfdist://data/file_part_1* gpfdist://data/file_part_2*
有关视频示例,请参阅: https://youtu.be/QqzUhTgWPZg?t=4m48s
【讨论】:
多个 gpfdist 实例将以并行方式在定义的位置加载/卸载数据。那才是greenplum db的真正用处
【讨论】: