【问题标题】:AWS Lambda: Unable to import module 'python_handler': No module named '_cffi_backend'AWS Lambda:无法导入模块“python_handler”:没有名为“_cffi_backend”的模块
【发布时间】:2023-09-07 23:51:01
【问题描述】:

当我需要读取 API 上的信息、创建 CSV 文件并将它们上传到 SFTP 服务器时,我正在创建 AWS Lambda 函数。

我在我的 venv 上安装了 paramiko,在 Windows 上使用 Ubuntu,cffi 模块就像一个依赖项,但是当代码运行时,我收到这个错误:

{
  "errorMessage": "Unable to import module 'python_handler': No module named '_cffi_backend'",
  "errorType": "Runtime.ImportModuleError"
}

按照我的代码:

import paramiko
import requests
from random import randrange
from datetime import datetime
from datetime import timedelta
from requests.auth import HTTPBasicAuth


def lambda_handler(event, context):
    # Lambda function
    addZero = lambda x : '0' + str(x) if x < 10 else str(x)

    # Actual datetime
    ac_yr = datetime.utcnow().year
    ac_mo = datetime.utcnow().month
    ac_da = datetime.utcnow().day
    ac_hh = datetime.utcnow().hour
    ac_mi = datetime.utcnow().minute
    ac_se = datetime.utcnow().second

    # 24 hours ago
    ag_yr = (datetime.utcnow() - timedelta(hours=24)).year
    ag_mo = (datetime.utcnow() - timedelta(hours=24)).month
    ag_da = (datetime.utcnow() - timedelta(hours=24)).day
    ag_hh = (datetime.utcnow() - timedelta(hours=24)).hour
    ag_mi = (datetime.utcnow() - timedelta(hours=24)).minute
    ag_se = (datetime.utcnow() - timedelta(hours=24)).second

    # API Infos
    api_key = 'XYZ'
    page_id = 'XYZ'

    # Call API
    param = {
        'sort_order': 'asc',
        'from': '{}-{}-{}T{}:{}:{}.000Z'.format(ag_yr, addZero(ag_mo), addZero(ag_da), addZero(ag_hh), addZero(ag_mi), addZero(ag_se)),
        'to': '{}-{}-{}T{}:{}:{}.000Z'.format(ac_yr, addZero(ac_mo), addZero(ac_da), addZero(ac_hh), addZero(ac_mi), addZero(ac_se))
    }
    r = requests.get('https://api.unbounce.com/pages/{}/leads'.format(page_id), auth=HTTPBasicAuth(api_key, 'pass'), params=param)

    # If connection it's ok
    if r.status_code == 200:
        # If has any result
        if len(r.json()['leads']) > 0:
            cont = ''
            for lead in r.json()['leads']:
                cont += lead['form_data']['cpf'][0] + ','
                cont += lead['form_data']['nome_completo'][0] + ','
                cont += lead['form_data']['email'][0]
        else:
            return 'Não há resultados no momento'
    else:
        return 'Falha na conexão'

    # Write a CSV file
    f = open('my_csv.csv','w')
    f.write('PAC_ID, PAC_NAME, PAC_EMAIL\n')
    f.write(cont)
    f.close()

    transport = paramiko.Transport(('host-info', 22))
    transport.connect(None, 'user-info', 'password-info', None)

    sftp = paramiko.SFTPClient.from_transport(transport)
    sftp.chdir('Import')
    sftpclient.put('my_csv.csv')

    return 'OK'

知道如何解决这个问题吗?

【问题讨论】:

  • 您在 AWS 或私有环境中运行时是否收到此错误?
  • @balderman,在 AWS 上
  • 您是否创建了部署包?
  • @balderman,是的,没有 sftp 部分,工作很好!当我添加 pysftp 或 paramiko 时,出现错误。
  • 所以很明显 paramiko(或 paramiko 依赖)需要一个你不提供的依赖——不是吗?

标签: python aws-lambda sftp paramiko


【解决方案1】:

最简单的解决方案是使用 lambci/lambda 容器,如here 所述。我写的比较详细here.

简而言之,一些 Python 包(例如 cffi)具有操作系统级别的依赖关系。由于您打包代码的操作系统与 Lambda 使用的操作系统不同,因此脚本无法运行。

【讨论】:

    【解决方案2】:

    在 Ubuntu 上工作,我没有成功使用 pysftp 或 paramiko 到 Lambda。 因此,我在我的桌面上创建了一个 EC2 实例(以及使用 Amazon Linux 2 的 VirtualBox)并使用相同的库开发相同的代码。而且……这行得通……

    【讨论】:

    【解决方案3】:

    可能会迟到,希望将来能对某人有所帮助。这个答案特定于“_cffi_backend .....”。可能有帮助的另一件事是了解您是如何安装 python 的。如果确实使用了 brew,则需要使用 python 创建一个虚拟环境。看这里:

    https://docs.aws.amazon.com/lambda/latest/dg/lambda-python-how-to-create-deployment-package.html

    我是在 linux 环境下完成的,没有下载与各种 linux 发行版兼容的 wheel 文件,它可以正常工作

    【讨论】:

      【解决方案4】:

      这看起来是许多二进制包的常见问题。 我还没有通用的解决方案,但你真正需要做的是将二进制文件从它真正安装的位置移动(符号链接)到你的包的根目录。

      我通常使用我的 Lambda 的安装后脚本来解决这个问题。使用paramiko 的运行如下:

      ln -s venv/MY_LAMBDA/lib/python3.6/site-packages/_cffi_backend.cpython-36m-x86_64-linux-gnu.so MY_LAMBDA/
      ln -s venv/MY_LAMBDA/lib/python3.6/site-packages/.libs_cffi_backend/libffi-XXXXXXXX.so.6.0.4 MY_LAMBDA/
      ln -s venv/MY_LAMBDA/lib/python3.6/site-packages/nacl MY_LAMBDA/
      

      您必须从您的 virtualenv 中确定 libffi... 文件的确切名称。它可能与您编译库的机器不同。

      【讨论】: