Django + Celery + Scrapy 扭曲反应器（ReactorNotRestartable）和数据库（SSL 错误）错误答案

【问题标题】：Django + Celery + Scrapy twisted reactor(ReactorNotRestartable) and database(SSL error) errorsDjango + Celery + Scrapy 扭曲反应器（ReactorNotRestartable）和数据库（SSL 错误）错误
【发布时间】：2018-08-27 02:24:48
【问题描述】：

我有一个 Django 2.0、Celery 4 和 Scrapy 1.5 设置，其中我在 django 自定义命令中有一个 Spider，我需要定期调用此命令，我使用 Celery 调用这些命令，它们涉及抓取网页并将一些结果保存到数据库中。这是我的文件：

get_data.py

class Command(BaseCommand):
    help = 'Crawl for new data'

    def handle(self, *args, **options):
        settings = Settings()
        settings.setmodule(crawler_settings)
        process = CrawlerProcess(settings=settings)
        args = {some needed args}
        process.crawl(DataLogSpider, kwargs=args)
        process.start()

celery.py

os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'config.settings.local')

app = Celery('config')
app.config_from_object('django.conf:settings', namespace='CELERY')
app.autodiscover_tasks()

@app.task(bind=True)
def debug_task(self):
    print('Request: {0!r}'.format(self.request))

tasks.py

@task()
def collect_data_information():
    call_command('get_data')

(Django) settings.py

CELERY_BROKER_URL = 'redis://localhost:6379/0'
CELERY_BEAT_SCHEDULE = {
    'task-get-logs': {
        'task': 'core.tasks.collect_data_information',
        'schedule': crontab(minute='*/15')  # every 15 minutes
    },
}

为了简单起见，我删除了一些导入并减少了代码。问题是当我运行芹菜任务时，我的蜘蛛只会执行第一次，第二次我得到ReactorNotRestartable 错误。我知道问题来自 Twisted reactor 多次重启，这是不可能的。我已经研究了这些问题1、2、3 以及许多其他涉及相同错误的问题，但是在使用 Django 保存到数据库时，他们都没有考虑到并发问题。

当我尝试将他们的解决方案应用于我的问题时，我收到了django.db.utils.OperationalError: SSL error: decryption failed or bad record mac。我也查过了，这是由打开数据库连接的多个进程引起的，实际上是由于他们的解决方案而发生的。

所以我的问题归结为：Is there a way to run Celery+Scrapy+Django without having problems with the Twisted reactor being opened and finished multiple times?

【问题讨论】：

标签： python django scrapy celery twisted

【解决方案1】：

我自己找到了解决方案。我必须在 celery 设置文件中添加以下内容：

app.conf.update(
    worker_max_tasks_per_child=1,
    broker_pool_limit=None
)

这告诉 celery 以全新的方式开始每个任务，因此每个任务都将在一个新进程中启动，并且不会发生 ReactorNotRestartable 问题。

【讨论】：