atom 与大地图一起使用时速度很慢

Question

我有一个使用 clojure 的 ETL，每个线程可以加载文件的不同部分，并且还需要从业务密钥中获取密钥。存储业务键到键映射的数据结构是一个哈希映射，例如：

{"businessKey1" 1, 
 "businessKey2" 2,
 "businessKey3" 3, 
 "businessKey4" 4, 
 "businessKey5" 5 }

ETL从文件中加载数据时，会将文件中的每一行解析成列，如果在map中可以找到业务key列，则返回key，例如找到businessKey1，则返回1。找到businessKey6，然后需要调用一个Web服务来创建一个新的密钥。我打算用atom，所以当每个线程找到一个新的key时，用atom来修改map。但性能非常糟糕。我测试了下面的代码，速度很慢，而且有很多GC活动。

(def a (atom {}))
(map #(swap! a (partial merge {% 1})) (range 10000))
(println a)

对此最好的解决方案是什么？我应该在 java 中使用 ConcurrentHashMap 吗？

Answer 1

性能不佳的主要来源似乎是(partial merge {% 1})的使用

更惯用的形式如下：

(let [a (atom {})] 
  (doall (map #(swap! a merge {% 1}) (range 10000))) (println @a)))

更快的是使用assoc而不是每次都创建临时地图：

(let [a (atom {})] 
  (doall (map #(swap! a assoc % 1) (range 10000))) (println @a)))

如果你想迭代一个 seq 的副作用，最好使用doseq：

(count (let [a (atom {})] (doseq [r (range 10000)] (swap! a assoc r 1))))

原子不是必需的，您想要的可以表示为减少：

(count (reduce (fn [m r] (assoc m r 1)) {} (range 10000)))

Answer 2

您可以通过使用 Clojure reducers 来避免在此处使用原子：

(require '[clojure.core.reducers :as r])

(defn lookup [k]
  ; do remote call, here it just returns 1  
  1)

(defn f
  ([] {})
  ([acc k] (if (get acc k)
             acc
            (assoc acc k (lookup k)))))

(r/fold merge f (vec (range 10000)))

clojure.core.reducers/fold 将自动并行运行并合并结果。