使用 DEAP（遗传算法库）和 spark

【问题标题】：Using DEAP (genetic algorithm library) with spark使用 DEAP（遗传算法库）和 spark
【发布时间】：2018-01-18 07:24:46
【问题描述】：

是否可以使用 DEAP (http://deap.readthedocs.io/en/master/) 和 spark 集群来映射适应度评估函数。我想运行一个 GA，但适应度函数相当长，我打算将它分布在 spark 集群上。

【问题讨论】：

标签： pyspark genetic-algorithm deap

【解决方案1】：

您应该查看 DEAP 文档中的 Using Multiple Processors 部分和此 example。他们解释了如何用您选择的 map 函数替换 DEAP toolbox 中的 map 函数。

要使用 pyspark 映射适应度评估函数，您可以这样做：

from pyspark import SparkContext

sc = SparkContext(appName="DEAP")

def sparkMap(algorithm, population):
    return sc.parallelize(population).map(algorithm)

toolbox.register("map", sparkMap)

【讨论】：