GoogleCloudStorageDownloadOperator“任务退出，返回码 -6”

Question

我是气流新手，我正在尝试使用 GoogleCloudStorageDownloadOperator 做一些简单的事情：

default_args = {
    'start_date': airflow.utils.dates.days_ago(0),
    'schedule_interval': None,
    'retries': 1,
    'retry_delay': timedelta(minutes=5),
    'params': {
        'work_dir': '/tmp'
    }
}

dag = DAG(
    'foo',
    default_args=default_args,
    description='This is foobar',
    schedule_interval=timedelta(weeks=1),
    dagrun_timeout=timedelta(minutes=60))

mock_download = GoogleCloudStorageDownloadOperator(
    task_id='download-foo-from-gcp',
    bucket='foo-data',
    object='{% if (task_instance.pid % 2 == 0) %}foo{% else %}bar{% endif %}/data.tar.gz',
    filename='{{ params.work_dir }}/data.tar.gz',
    google_cloud_storage_conn_id='google_cloud_default',
    dag=dag
)

虽然我可以在 PyCharm 中运行此任务（例如使用 airflow test），但当从 Web 界面（预定）触发时，它总是会失败。日志中的错误信息完全没用，至少可以这么说：

... 
[2020-01-09 17:04:18,871] {gcs_download_operator.py:86} INFO - Executing download: crunchbase-mock-data, foo/data.tar.gz, /tmp/data.tar.gz
[2020-01-09 17:04:28,751] {logging_mixin.py:112} INFO - [2020-01-09 17:04:28,751] {local_task_job.py:103} INFO - Task exited with return code -6

任何人都可以对此有所了解吗？ -6 到底是什么意思？有没有办法查看更多关于那里发生的事情的细节？

Answer 1

我在Airflow task running tweepy exits with return code -6 中遇到了同样的问题。

您使用的是 Mac OS High Sierra（或更高版本）吗？如果是这样，请参考https://stackoverflow.com/a/52230415/4434664。它解决了我的问题。

基本上，airflow test/PyCharm 只是在进程中运行任务，但调度程序会启动一个工作进程，该进程将调用fork()，显然，High Sierra 引入了一些新的安全更改，这些更改打破了fork() python中的用法。

这也导致了ansible的问题。参考https://github.com/ansible/ansible/issues/32499#issuecomment-341578864

Answer 2

任何人都可以对此有所了解吗？ -6 到底是什么意思？

There is 一份合同

负值 -N 表示子进程被信号终止 N（仅限 POSIX）。

在您的情况下，这意味着该进程已被 SIGABRT（代码 6）信号终止

有没有办法查看更多关于那里发生的事情的详细信息？

您的网站没有太多背景信息。一般来说，尝试使用不同的运算符和文件。 另外，从我的角度来看，气流没有很好的记录。我建议检查气流来源。