通过streamparse提交拓扑到storm集群答案

【问题标题】：Submit topology to storm cluster through streamparse通过streamparse提交拓扑到storm集群
【发布时间】：2018-04-22 22:08:48
【问题描述】：

我正在尝试使用 streamparse 开发拓扑并将其提交到风暴集群。

因为 streamparse 有它的默认字数拓扑来帮助用户测试集群，所以我可以在网上找到的大多数教程都是关于将这个默认字数示例提交到风暴集群。

我的问题是如何提交我自己的拓扑？例如，我有一个名为“mytopology”的拓扑。根据streamparse的文档，我试过了

sparse submit --environment prod --name mytopology

我的配置文件是

{
    "serializer": "json",
    "topology_specs": "topologies/",
    "virtualenv_specs": "virtualenvs/",
    "envs": {
        "prod": {
            "user": "userx",
            "ssh_password": "mypasswd",
            "nimbus": "10.XXX.XX.210",
            "workers": ["10.XXX.XX.206"],
            "log": {
                "path": "/home/userx/stormapp/splog",
                "max_bytes": 1000000,
                "backup_count": 10,
                "level": "info"
            },
            "virtualenv_root": "/home/userx/stormapp/venv"
        }
    }
}

但是，日志显示

JAR created: _build/wordcount-0.0.1-SNAPSHOT.jar

已创建并提交给 Nimbus。

不是

--name mytopology

应该找到 mytopology.py 并构建类似 mytopology.jar 的东西并提交？

然后我查看了project.clj文件，最上面一行是

defproject wordcount "0.0.1-SNAPSHOT"

现在很混乱。我还应该配置这个文件吗？当我这样做时

sparse submit --environment prod --name mytopology

它是否执行与此文件相关的操作？请帮忙...

【问题讨论】：

标签： jar apache-storm word-count topology streamparse

【解决方案1】：

我想您首先使用以下命令创建了 wordcount 项目：sparse quickstart wordcount 在这种情况下，“wordcount”将是使用sparse run 命令提交给 Storm 的拓扑名称。现在，如果您想提交另一个拓扑，比如mytopology，您必须创建另一个名为mytopology 的快速入门项目并编辑config.json 文件以适应您的技术环境。你不能像我猜你已经完成的那样复制和重命名“wordcount”项目的文件夹，因为“wordcount”出现在你的project.clj文件中。

【讨论】：