Amazon EMR 隧道 Zeppelin 和 Jupyter Notebook

【问题标题】：Amazon EMR Tunneling Zeppelin and Jupyter NotebookAmazon EMR 隧道 Zeppelin 和 Jupyter Notebook
【发布时间】：2016-06-11 07:15:48
【问题描述】：

我在 Amazon EC2 上运行 Spark EMR，并尝试通过隧道连接 Jupyter Notebook 和 Zeppelin，以便可以在本地访问它们。

我尝试运行以下命令但没有成功：

ssh -i ~/user.pem -ND 8157 hadoop@ec2-XX-XX-XXX-XX.compute-1.amazonaws.com

究竟什么是隧道，如何设置它以便在 EMR 上使用 Jupyter Notebook 和 Zeppelin？

有没有办法让我设置一个基本配置来完成这项工作？

非常感谢。

【问题讨论】：

标签： amazon-web-services amazon-ec2 apache-spark amazon-emr apache-zeppelin

【解决方案1】：

主节点上 Zeppelin 的 8890 等应用程序端口不会暴露在集群之外。因此，如果您尝试从笔记本电脑访问笔记本电脑，它将无法正常工作。 SSH 隧道是一种通过 SSH 安全访问这些端口的方法。您至少缺少Set Up an SSH Tunnel to the Master Node Using Dynamic Port Forwarding 中概述的一个步骤。具体来说，“隧道激活后，为您的浏览器配置一个 SOCKS 代理。”

【讨论】：

谢谢。我的理解是我需要用 FoxyProxy 配置代理设置。你知道如何在这里编辑 settings.xml 文件，以便它可以与 Zepellin 和 Jupyter Notebook 一起使用吗？ docs.aws.amazon.com/ElasticMapReduce/latest/ManagementGuide/…
您不需要添加任何内容。我使用 Zeppelin，并且在 FoxyProxy 中只使用了三个 URL 模式匹配器：ec2*.amazonaws.com*、*ec2*.compute* 和 *.ec2.internal*。确保您的 VPC 启用了“DNS 主机名”，否则您可能需要将 IP 添加到 URL 模式匹配器。