S3 文件通过 Airflow 到 Mysql AWS

Question

过去几个月我一直在学习如何使用 Apache-Airflow，想看看是否有人有将 CSV 文件从 S3 传输到 AWS(RDS) 中的 Mysql 数据库的经验。或者从我的本地驱动器到 MySQL。

我设法使用airflow.hooks.S3_hook 将所有内容发送到S3 存储桶以将它们存储在云中，并且效果很好。我用 boto3 来做到这一点。 现在我想将此文件推送到我在 RDS 中创建的 MySQL 数据库中，但我不知道该怎么做。我是否需要使用 MySQL 钩子并在那里添加我的凭据，然后编写一个 python 函数？

另外，不一定要S3到Mysql，如果更简单的话，我也可以尝试从本地驱动器到Mysql。

任何帮助都会很棒！

Answer 1

Airflow 有S3ToMySqlOperator，可以通过以下方式导入：

from airflow.providers.mysql.transfers.s3_to_mysql import S3ToMySqlOperator

请注意，您需要安装 MySQL 提供程序。

对于 Airflow 1.10 系列 (backport version)：

pip install apache-airflow-backport-providers-mysql

对于 Airflow >=2.0（regular version 目前处于测试阶段）：

pip install apache-airflow-providers-mysql

示例用法：

S3ToMySqlOperator(
    s3_source_key='myfile.csv',
    mysql_table='myfile_table',
    mysql_duplicate_key_handling='IGNORE',
    mysql_extra_options="""
            FIELDS TERMINATED BY ','
            IGNORE 1 LINES
            """,
    task_id= 'transfer_task',
    aws_conn_id='aws_conn',
    mysql_conn_id='mysql_conn',
    dag=dag
)