【问题标题】：insert into cassandra db with python multiprocessing使用 python 多处理插入 cassandra db
【发布时间】：2018-09-20 05:30:05
【问题描述】：

我是 python 和 cassandra 的新手。我尝试在 cassandra 中使用 python multiproccessing，我在这个网站上得到了它 https://github.com/aholmberg/driver-multiprocessing/blob/py3/multiprocess_execute.py 我该如何解决这个错误，请告诉我是否必须应用任何更改。这是我的代码：

from multiprocessing import Pool
import sys
import time
from cassandra.cluster import Cluster
from cassandra.query import tuple_factory

def query_gen(n):
    for _ in range(n):
        yield ('local', )


class QueryManager(object):

    batch_size = 10

    def __init__( self , cluster , process_count = None ):
        self.pool = Pool(processes=process_count, initializer=self._setup,          initargs=(cluster,))

    @classmethod
    def _setup(cls, cluster):
        cls.session = cluster.connect()
        cls.session = cluster.connect('new')


        cls.session.row_factory = tuple_factory
        cls.prepared = cls.session.prepare('SELECT * FROM new.mytbl')

    def close_pool( self ):
        self.pool.close()
        self.pool.join()

    def get_results(self, params):
        results = self.pool.map(_get_multiproc, params, self.batch_size)
        return results

    @classmethod
    def _execute_request(cls, params):
        return cls.session.execute(cls.prepared, params)

def _get_multiproc(params):
    return QueryManager._execute_request(params)


if __name__ == '__main__':
    try:
        iterations = 1
        processes = 2
    except (IndexError, ValueError):
        print("Usage: %s <num iterations> [<num processes>]" % 1)
        sys.exit(1)

    cluster = Cluster()
    cluster = Cluster(['127.0.0.1'])
    qm = QueryManager(cluster, processes)

    start = time.time()
    rows = qm.get_results(query_gen(iterations))
    delta = time.time() - start
#print("%d queries in %s seconds (%s/s)" % (iterations, delta, iterations / delta))

这是错误日志：

文件“multi.py”，第 64 行，行数 = m.get_results(query_gen(iterations))

文件“multi.py”，第 40 行，在 get_results 中结果 = self.pool.map(_get_multiproc, params, self.batch_size)

文件“/usr/lib/python2.7/multiprocessing/pool.py”，第 251 行，在地图中 return self.map_async(func, iterable, chunksize).get()

文件“/usr/lib/python2.7/multiprocessing/pool.py”，第 567 行，在 get 提高self._value

ValueError: 提供给 bind() 的参数太多（得到 1，预期为 0）

【问题讨论】：

你能提供完整的追溯吗？

标签： python cassandra cassandra-3.0

【解决方案1】：

我不确定您是否要完成什么，但在查看您的代码后，我认为问题出在此处：

    @classmethod
    def _execute_request(cls, params):
    return cls.session.execute(cls.prepared, params)

session.execute(prepared_query)

当您查询只是一个没有任何参数的 select 语句，并且您将参数传递给执行语句时，它向您显示了一个错误，即参数过多（预期为 1 为 0）

试试改成

return cls.session.execute(cls.prepared)

看看这是否有效！阅读更多：here

【讨论】：