【问题标题】:Azure Data Factory Pipelines: Creating pipelines with Python: Authentication (via az cli)Azure 数据工厂管道:使用 Python 创建管道:身份验证(通过 az cli)
【发布时间】:2019-08-27 04:35:05
【问题描述】:

我正在尝试通过 python 创建 azure 数据工厂管道,使用 Microsoft 在此处提供的示例:

https://docs.microsoft.com/en-us/azure/data-factory/quickstart-create-data-factory-python

def main():

    # Azure subscription ID
    subscription_id = '<Specify your Azure Subscription ID>'

    # This program creates this resource group. If it's an existing resource group, comment out the code that creates the resource group
    rg_name = 'ADFTutorialResourceGroup'

    # The data factory name. It must be globally unique.
    df_name = '<Specify a name for the data factory. It must be globally unique>'

    # Specify your Active Directory client ID, client secret, and tenant ID
    credentials = ServicePrincipalCredentials(client_id='<Active Directory application/client ID>', secret='<client secret>', tenant='<Active Directory tenant ID>')
    resource_client = ResourceManagementClient(credentials, subscription_id)
    adf_client = DataFactoryManagementClient(credentials, subscription_id)

    rg_params = {'location':'eastus'}
    df_params = {'location':'eastus'}

但是,我无法如上所示传递凭据,因为 azure 登录是作为管道中较早的一个单独步骤执行的,给我留下了一个经过身份验证的 azure 会话(不能将其他凭据传递到此脚本中)。

在我运行 python 代码来创建管道之前,我通过 Jenkins 部署管道执行“az login”,这让我获得了一个经过身份验证的 azurerm 会话。我应该能够在 python 脚本中重复使用这个会话来获取数据工厂客户端,而无需再次进行身份验证。

但是,我不确定如何修改代码的客户端创建部分,因为似乎没有任何示例使用已建立的 azurerm 会话:

    adf_client = DataFactoryManagementClient(credentials, subscription_id)

    rg_params = {'location':'eastus'}
    df_params = {'location':'eastus'}

 #Create a data factory
    df_resource = Factory(location='eastus')
    df = adf_client.factories.create_or_update(rg_name, df_name, df_resource)
    print_item(df)
    while df.provisioning_state != 'Succeeded':
        df = adf_client.factories.get(rg_name, df_name)
        time.sleep(1)

Microsoft 的身份验证文档建议我可以使用以前建立的会话进行身份验证,如下所示:

from azure.common.client_factory import get_client_from_cli_profile
from azure.mgmt.compute import ComputeManagementClient

client = get_client_from_cli_profile(ComputeManagementClient)

(参考:https://docs.microsoft.com/en-us/python/azure/python-sdk-azure-authenticate?view=azure-python

这可行,但是天蓝色数据工厂对象实例化失败:

Traceback (most recent call last):
  File "post-scripts/check-data-factory.py", line 72, in <module>
    main()
  File "post-scripts/check-data-factory.py", line 65, in main
    df = adf_client.factories.create_or_update(rg_name, data_factory_name, df_resource)

AttributeError: 'ComputeManagementClient' object has no attribute 'factories'

那么在这和获取 df 对象之间可能需要一些额外的步骤?

任何线索表示赞赏!

【问题讨论】:

    标签: python azure azure-data-factory-2


    【解决方案1】:

    只需将类替换为正确的类型即可:

    from azure.common.client_factory import get_client_from_cli_profile
    from azure.mgmt.resource import ResourceManagementClient
    from azure.mgmt.datafactory import DataFactoryManagementClient
    
    resource_client = get_client_from_cli_profile(ResourceManagementClient)
    adf_client = get_client_from_cli_profile(DataFactoryManagementClient)
    

    您收到的错误是因为您创建了一个计算客户端(用于处理 VM),而不是 ADF 客户端。但是,是的,您找到了满足您需求的正确文档 :)

    (披露:我在 Python SDK 团队的 MS 工作)

    【讨论】:

    猜你喜欢
    • 2021-05-16
    • 2021-05-04
    • 1970-01-01
    • 2021-12-07
    • 2021-12-07
    • 2022-01-06
    • 1970-01-01
    • 1970-01-01
    • 2019-10-24
    相关资源
    最近更新 更多