【问题标题】:Retrieving SQL query execution results asynchronously.异步检索 SQL 查询执行结果。
【发布时间】:2015-08-29 16:41:27
【问题描述】:

经过相当多的研究后,我决定继续写一个在 stack-overflow 上可能看起来相当多余的问题,但我只是问,因为我没有找到答案。我一直在使用 Java NIO2 框架获得一些乐趣,它极大地提高了我的应用程序的可伸缩性。 (我们以前使用老式的 I/O TPC 服务器/客户端设置来安装一些轻度填充的仿真服务器),让我告诉你。如果你明白我的意思,并发是 B 女王。

我们正在从使用线程来解决所有问题(试图更好地实践并更加熟悉先进的技术)。以前,我们使用平面文件存储(文本/二进制格式存储)存储用户数据,并将所有内容迁移到 SQL 数据库。

在执行此操作时,我注意到通常没有问题,但是等待数据库永远不会有趣,并且在模拟游戏环境中等待数据库调用永远不会有趣,尤其是当整个游戏服务器都在等待。这是我们通常会替换线程的地方。为什么不直接使用Thread pool 或类似名称在另一个线程上执行 SQL 调用。

Java NIO2 CompletableFuture<K,V> 确实对任何类型的异步事件都有很大帮助,但是我一直在尝试找到一种将其用于 SQL 调用的方法。我认为编写我们自己的使用 NIO2 的 JDBC 版本始终是一种选择,但它似乎有点过头了,并且可能会花费更多的时间和金钱而不是它的价值。请记住,我们只是一个小型仿真社区,而不是大型企业,但我们确实希望确保为我们的用户提供质量。

我正在调查jooQ,这看起来不错,但也似乎有点过头了。这使用了CompletableFuture#supplyAsych 方法,但是可用的示例并没有真正深入地解释它。但是它与这句话混在一起:

这样的解决方案总会有一个障碍,而且 是 JDBC 本身——很难变成异步 API。 事实上,很少有数据库真正支持异步查询执行。

但是,数据库不一定需要支持异步查询执行,以便在异步上下文中提供结果。如果我的服务器没有等待(并且只是等待)API 获取查询结果,那么这就是这里唯一真正重要的事情。可以使用 Unity 脚本参考中的示例来解释与此类似的活动:CoRoutines

请不要推荐 Scala。

【问题讨论】:

  • 可能想查看Is asynchronous jdbc call possible?的答案。
  • @PM77-1 感谢您的链接,但我已经阅读了该页面上的所有内容。几年前就有人问过这个问题,但最近似乎没有得到太多关注。
  • @Christian.tucker - 10 个答案怎么没有太多关注?说真的,如果你想让人们更多地关注它,那么正确的方法就是发布奖金。

标签: java mysql sql asynchronous jdbc


【解决方案1】:

Java NIO2 的水平太低,无法帮助您。

您开发 JDBC 异步版本的“思想泡泡”存在问题,原因有两个:

  • 它确实不适合在 JDBC API 层之上(即在应用程序代码中)实现事务的方式。在较少数量的线程上同时处理多个事务的应用程序将变得更加复杂。更复杂(通常)意味着更不可靠,这不是您在进行(常规)数据库操作时想要的。

  • 设计异步 JDBC API 是一回事,但实现它完全是另一回事。这里真正的问题是真正的工作发生在多个 JDBC 驱动程序中:

    • 某些驱动程序是专有的。
    • 所有驱动程序都与后端数据库(在 JVM 中或通过网络连接)使用某种非标准“协议”。
    • 这些协议 (AFAIK) 在本质上始终是同步的,并且通常是专有的。
    • 用支持异步模式的东西更新或替换协议将需要更改数据库实现本身。

那么解决办法是什么?

这个问答有一些尝试实现异步数据库 API 的项目的链接:“Is asynchronous jdbc call possible?”。

我想,如果您对此不满意(即进度或 API),您可以开始自己的项目。但是,您可能会遇到同样的设计和实现问题。

另一种方法可能是完全放弃 SQL 和 ACID,并查看一些所谓的“NoSQL”数据库,看看它们是否为您提供了您想要的那种异步 API 和行为。

【讨论】:

  • 感谢您的回复,我最终开始开发自己的小型数据库引擎。它没什么大不了的,我不希望它的性能与经过测试的解决方案一样好,但是到目前为止,它可以满足我们的需求。我已经使用带有同步查询执行器的 NIO2 实现了数据库服务器。 (自定义查询语言)以防止数据库数据损坏。当前的问题主要与将内容加载到数据库服务器的内存中有关。需要找到一种正确的方法来索引/缓存堆外的数据,而不会过度使用内存。仍在将 SQL 用于其他与 Web 相关的项目。
猜你喜欢
  • 1970-01-01
  • 2020-06-01
  • 2012-02-29
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多