如何在clojure中按部分生成惰性序列？

Question

我有一个数据库服务器，我从中获取数据。有时数据有数百万行甚至更多，所以我使用惰性进行下载。我使用来自 clojure.jdbc 库 https://funcool.github.io/clojure.jdbc/latest/#cursor-queries 的服务器端游标来懒惰地获取数据。

现在我有一个问题。我需要从惰性序列中生成初始 500 个元素，然后程序必须等待 10 分钟才能获得一个信号，该信号向程序报告生成下一个 500 个元素，依此类推，直到我从服务器接收到所有数据。但是如果报告在 10 分钟内没有到达，程序必须关闭连接。

我写了示例：

(def lazyseq_maps (atom {:seq_1 {:next_500 false :data nil} :seq_2 {:next_500 false :data nil}})) ; here is a collection of all unfinished lazy sequences waiting for signal to continue produce elements

(jdbc/atomic conn
 (with-open [cursor (jdbc/fetch-lazy conn sql]
   (let [lazyseq (jdbc/cursor->lazyseq cursor)]
     (swap! lazyseq_maps assoc seq_id {:next_500 true :data nil})
     (loop [lazyseq_rest lazyseq
            count 1]
            (if (:next_500 (seq_id @lazyseq_maps))
              (do
                (swap! lazyseq_maps update-in [seq_id :data] conj (first lazyseq_rest))
                (when (= 0 (mod count 500))
                  (swap! lazyseq_maps assoc-in [seq_id :next_500] false))
                (recur (rest lazyseq) (inc count)))
              ;
              (func-for-waiting-signal)))) ; here I don`t know how to create function waiting signal to continue fetching data
   (seq_id @lazyseq_maps)))

你能帮助我解决我的问题应该使用哪些 clojure 工具吗？我假设我应该使用 core.async 为循环创建通道。我对吗？如果我收到适当的信号，我应该如何创建停止执行循环 10 分钟或继续执行的函数？

Answer 1

确实，您应该为此使用 core.async，它们有 timeout 通道用于超时目的，而使用 alt! 您可以“等待”从任意数量的通道中弹出一个值。完整的代码会有点复杂。输出行将被“推送”到输出通道。

据我所知with-open 和惰性序列不能很好地组合，因为光标会过早关闭。但是我对 clojure.jdbc 库不熟悉。