使用 JDBC 和 Clojure 访问大型数据集的有效方法是什么

Question

编辑

事实证明是 N00b 问题。我没有意识到运行lein ring server 会导致您的应用程序以解释模式运行，这就是它慢得多的原因。

---

可以优化以下 Clojure/JDBC 片段以使其运行（快得多）吗？

(defn test-sql []
  (sql/with-connection (db-connection)
    (sql/with-query-results results ["select * from users order by username asc"]
        (doseq [row results ] 
          (println "User" (row :first_name) (row :last_name)) results))))

我正在考虑将 Clojure 用于 ETL 项目。我写的第一个测试是从我有大约 28 万条记录的表中打印出数据。到目前为止，我提出的实现非常缓慢。在 Java 中大约需要 12 秒（即使使用 myBatis 填充对象而不是“原始”访问）使用我的 Clojure 解决方案需要大约 9.5 分钟。

我尝试使用 map 而不是 doseq，并尝试使用如下所示的光标：http://asymmetrical-view.com/2010/10/14/clojure-and-large-result-sets.html，但我得到的每个执行时间大致相同。

FWIW，执行 .println java.lang.System/out 时的结果相同（不足为奇），并使用 with-query-results*：

(defn test-sql2 []
  (sql/with-connection (db-connection)
    (sql/with-query-results* ["select * from users order by username asc"]
      (fn [row] (println "User" (row :first_name) (row :last_name))))))

一样，一样。

Answer 1

这很尴尬...事实证明，性能相对较差是由于将我的测试代码作为简单 Web 应用程序的一部分运行（我知道，这在这个问题的上下文中没有意义） ，我使用lein ring server 运行它，我猜这与使用repl 运行它相同（我只是没有建立那个连接）。当我尝试使用lein uberjar 编译和打包，然后使用java -jar 执行该jar 时，它给了我与Java 应用程序相当的性能。