Azure 突触中的外部表性能非常慢

Question

我有一个 parquet 文件并创建了一个新的外部表，但与突触中的普通表相比，性能非常慢。你能告诉我如何解决这个问题吗？

Answer 1

非常广泛的问题。所以我会给出广泛的答案：

1. 使用普通表。很难用外部表击败“普通表”的性能。 “普通表”是指使用CREATE TABLE 在专用 SQL 池中创建的表。如果您重复从一个或多个表中查询数据并且每个查询都不同（分组、连接、选定列），那么您无法获得“普通”表与外部表的性能。
2. 了解并应用基本best practices：

   • 使用您正在做的镶木地板格式。

   • 选择正确的分区列并通过将分区存储到不同的文件夹或文件名来对数据进行分区。

   • 如果查询针对单个大文件，您将受益于将其拆分为多个小文件。

   • 尽量将 CSV（如果使用 csv）文件大小保持在 100 MB 到 10 GB 之间。

   • 使用正确的数据类型。

   • 手动为 CSV 文件创建统计信息

   • 使用 CETAS 增强查询性能和联接

     ...还有更多。