Schemacrawler 根据表的数量对大模式进行分区答案

【问题标题】：Schemacrawler partition large schema based on number of tablesSchemacrawler 根据表的数量对大模式进行分区
【发布时间】：2020-11-01 20:14:49
【问题描述】：

我有一个用例，我使用 schemacrawler 从各种数据库中抓取元数据。稍后在我的下游系统中使用元数据。

我有很多可变大小的数据库要抓取。桌子的数量从 20 到 2000 不等。现在，我正在使用 Schemacrawler API 来运行爬虫。如果源数据库中的表数量更多，我的应用程序会崩溃，因为它会尝试一次爬取所有表。

schemacrawler 有没有办法批量爬取数据库。即如果有 1000 个表，它分 5 批爬取，每批 200 个表？

谢谢！

【问题讨论】：

【解决方案1】：

喜望树，

SchemaCrawler 的设计前提是您应该将搜索范围缩小到少数表，而不是尝试获取整个架构。 SchemaCrawler 提供了强大的方法来使用正则表达式过滤搜索结果。话虽如此，我了解您的用例。我建议您使用“最小”架构信息级别来获取所有表的列表，然后编写代码以使用该列表一次获取几个表的详细信息。

Sualeh Fatehi，SchemaCrawler

【讨论】：