我有一个项目，我通过 Java 从 Oracle 数据库中读取大量数据。
我感觉我们正在编写的应用程序处理数据的速度比使用单线程 SELECT 查询提供给我们的速度要快得多，因此我一直在尝试研究更快获取数据的方法。
有没有人可以阅读可以帮助我解决困境的任何内容？
【问题讨论】：
标签： java oracle select jdbc performance
首先，对于数据库人员来说，“海量数据”是 [至少] GB，在这种情况下，我怀疑您的问题是将这些卷读入您的进程内存并在那里聚合它们。为什么你认为单线程选择会成为瓶颈？
如果瓶颈是从磁盘获取数据，那么让多个线程从同一个磁盘提取数据不一定会更快，甚至可能会更慢。但是，如果您可以将数据分布在单独的磁盘上，那么单独的线程会更快。如果使用 SSD，您认为磁盘不会成为争论点，我们可以看看其他地方。
如果瓶颈是网络带宽，那么多个线程将无法更快地通过管道容纳更多数据。您甚至可以从将数据卸载到平面文件、对其进行压缩和传输中受益。
如果选择正在排序或来自散列连接，则可以通过单个线程更有效地使用内存。多个会话必须共享机器的内存。
如果有一个 CPU 密集型处理，那么多线程可能会有所帮助。这可能就像从 java 获得多个连接一样简单，每个连接都获得不同的数据片段（例如 A-K 和 L-Z），但这在很大程度上取决于 SELECT。
我同意 dpbradley 的观点，即您应该首先确定瓶颈。如果你有数据并选择，它应该足够简单来确定它需要多长时间（在本地机器上和通过网络），并且跟踪将是真正进入如何加速它的必要起点.
【讨论】：
Oracle 支持parallel DML。这尤其适用于 SELECT 查询。最终瓶颈可能是 IO 读取速度。要么使用速度更快的磁盘，要么跨多个磁盘条带化数据。
在 cmets Parallel Queries/DML 中指出 APC 是 Entreprise Edition feature，在标准版中不可用。
此外，Parallel DML/Query 并不是所有性能问题的解决方案。由于查询将使用多个进程，因此它可能会提高吞吐量，但会以并发为代价。并行的目的是使用更多的资源来更快地处理查询。如果查询是 IO-bound 或 CPU-bound，则没有额外的资源可以使用，添加并行只会让事情变得更糟。
从上面的链接：
并行执行不正常 有用的：
- CPU、内存或 I/O 资源已在其中的环境 大量使用。并行执行 旨在利用额外的 可用的硬件资源；如果不 有这样的资源，那么 并行执行不会产生任何 好处，实际上可能是有害的 性能。
【讨论】：
在打开查询之前，对 Statement 或 PreparedStatement 使用 setFetchSize(int) 方法。您应该尝试不同的尺寸。尝试 75 作为起点。
在稍微不同的用法上，人们说 PL/SQL 批量获取“最佳位置”在 2000 到 3000 之间，但我看到一个基准表明 75 是最佳值。
较大的获取大小将倾向于减少客户端和服务器之间的往返次数。但如果它太大，数据库必须有一个很大的缓冲区，并且网络软件可能不得不将大消息分解成很多数据包。
【讨论】：
您没有向我们提供很多信息，说明为什么有必要将“大量数据”引入 Java 应用程序而不是在数据库端进行处理。虽然可能有例外，但通常这是重新思考设计的信号。作为 Oracle 的一般规则，使用纯集合操作 (SQL) 完成尽可能多的工作是最有效的，然后使用 rdbms 引擎 (PL/SQL) 进行过程处理，然后再将结果返回到客户端应用程序。
【讨论】：