【发布时间】：2021-06-30 09:51:38
【问题描述】：
我正在尝试将数据仓库迁移到 Delta 湖。我正在努力弄清楚的一件事是如何在 spark 会话之外连接到 Delta Lake（银和金）表。我希望能够使用 Tableau 等 BI 工具连接到这些表。我没有使用数据块，我想知道将这些表存储在配置单元元存储中是否有帮助。如果不是这样，那么有人可以用另一种方法帮助我，或者这是否可行。
【问题讨论】：
-
您总是需要某种“计算”来在中间完成 delta Lake 工作，而此时数据块将是最方便和最可靠的计算。您当前的数据仓库有什么问题导致您迁移？您可能会在使用 delta Lake 方法时遇到更多问题。您是否正在尝试迁移星型模式？您使用的是什么数据库平台？
-
致
migrate- 请使用swoop？ -
连接 - odbc 还是 jdbc？
-
是的，您可以使用 ODBC 或 JDBC。但是您仍然需要连接到数据块集群。
-
集成到 Hive 是否有效？如此处所述 - docs.delta.io/latest/hive-integration.html 。我已经用 Hadoop 建立了一个 spark 集群来模拟 docker 上的 hdfs。
标签： pyspark hive tableau-api delta-lake