StreamParse：IOError：本地端口：6627 已在使用中，无法打开到 nimbus.server.local:6627 的 ssh 隧道答案

【问题标题】：StreamParse: IOError: Local port: 6627 already in use, unable to open ssh tunnel to nimbus.server.local:6627StreamParse：IOError：本地端口：6627 已在使用中，无法打开到 nimbus.server.local:6627 的 ssh 隧道
【发布时间】：2016-08-15 23:47:42
【问题描述】：

设置：

风暴 0.10.0
流解析 2.1.4
Centos 6.5
Python 2.7（Streamparse 需要它）

（是的，我知道它们已经过时了，但是我无法使用 Storm 1.0，它只是被 streamparse 3 破坏了）

当我尝试从我的 nimbus 服务器或拓扑中的另一台服务器启动“streamparse submit”时，我收到以下错误：

"IOError: 本地端口: 6627 已被使用，无法打开 ssh 隧道到 nimbus.server.local:6627。”

但是 6627 当然在我的 nimbus 服务器上使用？它的 Thrify 端口。所以我尝试将 Thrifty 端口移动到 6637 并重新启动 Nimbus。但是我从提交它的客户那里得到了同样的错误：

IOError：本地端口：6627 已在使用中，无法打开 ssh 隧道到 nimbus.server.local:6627.

即使是 netstat tuanp 也显示 6627 表明在 nimbus 上的该端口或执行提交的盒子上没有任何东西在监听。

我感觉与 SSHD 配置和允许隧道有关，但 Nimbus 没有正确处理这件事，并在尝试建立隧道时给出了不正确的错误。

有其他人经历过吗？

【问题讨论】：

是的，我在设置本地 Storm 集群的主机上运行 streamparse 时遇到了同样的问题。在此之前，我花了一整天的时间尝试将已经使用“稀疏运行”测试过的 Storm 拓扑部署到远程 Storm 集群，但没有成功。我学到的是，每次运行 sparse 命令时，它都会产生两个稀疏进程。我假设他们都使用端口 6627，导致其中一个进程抛出“6627 已在使用”错误。

标签： apache-storm streamparse

【解决方案1】：

这就是我最终在本地 Storm 集群中部署 streamparse Storm 拓扑所做的工作：

> sparse quickstart quickstart-2.1.4
> cd quickstart-2.1.4
> sparse jar
> storm jar _build/quickstart-2.1.4-0.0.1-SNAPSHOT-standalone.jar streamparse.commands.submit_topology topologies/wordcount.clj

这适用于 streamparse 2.1.4 和 Storm 0.9.5

【讨论】：

【解决方案2】：

我在运行storm topology时遇到了同样的错误。

我做了以下更改，然后效果很好，添加了以下属性

在 config.json 中，

        "use_ssh_for_nimbus": false,
        "use_virtualenv": false,

在 fabfile.py 中，

        from fabric.api import env
        env.use_ssh_config = False
        env.password = '****'
        from streamparse.ext.fabric import *

并作为“稀疏提交”提交请告诉我，如果它有效，或者分享配置文件

【讨论】：