在 SQL Server 中存储数百万个 100kb 的 PDF答案

【问题标题】：Storing millions of 100kb PDFs in SQL Server在 SQL Server 中存储数百万个 100kb 的 PDF
【发布时间】：2019-12-12 10:56:18
【问题描述】：

我有一个软件可以检查每台工厂机器并生成大约 100kb 的 PDF 输出。这是 12 小时的计划任务。我有超过 18.000 台机器，并且随着新工厂的增加，它会增加。我在一个月内大约获得了数百万条 PDF 文档记录。如果机器出现任何问题，我还需要通过过滤选项向最终用户展示它们。

我在后端使用 C# ASP.NET 和 SQL Server 2014。

存储它们的有效方法是什么？直接在数据库中使用 nvarbinary(max) 还是使用文件系统？

我本来打算用文件服务器的，但是这个link让我很困惑，所以我想问一下。

-编辑-

在与我的经理讨论后，我们决定使用以下方法。感谢大家提供帮助的 cmets，你们贡献了很多。

我们将数据以文本格式存储在有意义的表结构中。当最终用户想要 PDF 时，我们将创建 PDF 并及时提供。不会存储它们。我们还将对 PDF 中的图像使用 S3 CDN，并将它们的元数据保存在 DB 中。

当需要新报告时，开发人员首先从 db 获取模板，使用报告编辑器实现详细信息，然后将此 xml 脚本连同用户参数（语言、权限等）发送到我们的 SOA（面向服务的架构）基于机制。我们的 SOA 引擎将评估请求，用正确的数据和语言填充 xml 脚本，渲染，然后发送回用户。

非常感谢。

【问题讨论】：

【解决方案1】：

如果您要写入的 PDF 几乎相同，您可以将变量存储到数据库中。然后，当有人请求报告或任何报告时，您拉取 PDF 模板文件并用从数据库检索到的适当值填充它。

【讨论】：

同意。具有数据库中基础数据的按需 PDF 似乎更有用，尤其是如果您想以编程方式处理内容，因为尝试从预制 PDF 中提取数据将有其自身的挑战。
是的，它们大部分是相同的，它们经过了一些检查，例如它是否工作，它运行了多长时间等。我打算将它们概括为模板并使用模板创建 PDF ，但每台机器都必须有当时的 PDF。
这个要求（当时每台机器都必须有一个 PDF）看起来很奇怪，在我看来，这会让你走上糟糕的道路。为什么要创建数以百万计的 PDF 并让它们一无所获？您的经理终其一生都无法查看所有这些文件。将要放入 PDF 的数据存储在数据库中，并在需要时使用该数据动态构建 PDF

【解决方案2】：

我有一个软件可以检查每台工厂机器并生成大约 100kb 的 PDF 输出。

您有两个选择，第一个是不生成 PDF 作为输出，而是生成文本，因为您可以比 PDF 更有效地存储文本。

我要猜测一下，根据您说您已经拥有 18,000 家工厂，这可能为时已晚，在这种情况下，将 pdf 存储在文件系统中并将其位置存储在数据库中.

【讨论】：

这个项目在几家工厂运行，他们总共有超过 18k 台机器。但我将使用 PDF 提供一个新架构，因此您可能会将这个项目视为一个新项目。您是否建议我将输出存储为文本，当用户想要查看时，只需创建一个 PDF？
没错，我认为用实际文件来膨胀关系数据库是个坏主意，因为它并不是专门为该用例设计的。最好只按需创建 PDF

【解决方案3】：

当您处理大量数据时，请不要使用 PDF 文件存储在数据库中，而是使用 SQL DB 设计的表结构数据，如果您有类似的数据结构，请使用 PDF 变量模板您的 PDF 文件。

您的顺序是：进程（可能还包括 DB）> PDF > DB

应该是：进程 > DB > PDF

此外，如果您的文件还包含一些几何和图形数据，请使用示例文件更详细地描述您的问题，以便我们也能提供帮助。

【讨论】：