在 Zeppelin 中从 S3 导入 python 外部库

【问题标题】：Import python external library from S3 in Zeppelin在 Zeppelin 中从 S3 导入 python 外部库
【发布时间】：2022-01-04 09:33:23
【问题描述】：

我开发了一个自定义 python 库，并放入 S3 存储桶中，现在我想使用 Zeppelin 和 pyspark 解释器与之交互。但是，我找不到办法做到这一点。有人知道怎么做吗？

我尝试过的事情：

  1. 在glue中，可以通过指定'Python lib path'在S3中包含外部python库，这让我觉得在Zeppelin中是可能的
  2. 有使用 %dep 解释器等方法，但它仅适用于 JAR 库，而我想加载 python 库

欢迎提出任何建议

【问题讨论】：

    标签： python amazon-s3 pyspark aws-glue apache-zeppelin


    【解决方案1】：

    没关系，我找到答案了

    在创建开发端点时，您实际上可以指定“Python 库路径”，就像在胶水作业中指定它一样

    【讨论】：

    • 您的答案可以通过额外的支持信息得到改进。请edit 添加更多详细信息，例如引用或文档，以便其他人可以确认您的答案是正确的。你可以找到更多关于如何写好答案的信息in the help center。
    猜你喜欢
    • 2016-12-13
    • 2017-04-14
    • 2019-07-23
    • 2020-02-27
    • 1970-01-01
    • 1970-01-01
    • 2019-07-11
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多
    热门标签
    Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode