【问题标题】:How to add Hudi Package to local AWS Glue Interactive Notebook如何将 Hudi 包添加到本地 AWS Glue 交互式笔记本
【发布时间】:2022-09-28 00:57:21
【问题描述】:

我已经通过关注https://docs.aws.amazon.com/glue/latest/dg/interactive-sessions.html 在本地设置了 Glue Interactive 会话 但是,我无法在交互式会话中添加任何额外的包,比如 HUDI

有一些魔术命令可以使用,但不确定哪个适合以及如何使用

%additional_python_modules
%extra_jars
%extra_py_files

    标签: jupyter-notebook aws-glue apache-hudi


    【解决方案1】:

    我无法对此问题发表评论,因此添加已收到答案的link to a similar question

    关于魔术命令,您将在启动胶水交互式笔记本后找到说明。我也在这里添加它们。

    • %additional_python_modules List 逗号分隔的 pip 包、s3 路径或私有 pip 参数列表。
      • %additional_python_modules ['path_to_pip_package_1', 'path_to_pip_package_2']
    • %extra_jars List 以逗号分隔的要包含在集群中的其他 Jar 列表。
    • %extra_py_files List 逗号分隔的来自 S3 的其他 Python 文件的列表。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2018-01-05
      • 2021-08-27
      • 2017-03-24
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2019-08-25
      • 2016-07-04
      相关资源
      最近更新 更多