无法使用 kafka-storm 向 apachestorm 提交拓扑答案

【问题标题】：Unable to submit topology to apache storm using kafka-storm无法使用 kafka-storm 向 apachestorm 提交拓扑
【发布时间】：2016-04-04 12:29:51
【问题描述】：

将我的拓扑提交到 Apache Storm（版本 0.10.0.2.4.0.0-169）时出现错误，该拓扑使用了来自storm-kafka 的Kafka spout。我正在使用来自 github 的最新版本的storm-kafka，并且正在运行 kafka 0.9.0.2.4。

我可以通过使用 maven 为storm-core 和storm-kafka 下载的jar 文件来运行这个拓扑的一个相当普通的版本，但是我需要对spout 类进行更改，所以我必须从源代码下载并自己构建它们，它在 maven 中的 ubuntu 开发环境中编译，但在将拓扑提交到storm时出现错误。

“找到多个 defaults.yaml 资源。您可能正在使用拓扑 jar 构建 Storm jar”

我认为这是因为我在我的 maven 依赖项中包含了storm-core（我从源代码编译的本地版本（并添加到我的本地 maven 存储库），因为在storm-kafka 中需要它并且从 mvn 中提取的版本是缺少最新版本的storm-kafka所需的类）但是，如果我将storm-core设置为pom.xml中提供的，我会在提交时收到以下错误-

“java.lang.class.NoClassDefFoundError: org/apache/storm/spout/scheme”

我认为这是因为它正在尝试使用一些包含的storm-core 版本，该版本缺少一些最新文件。

我似乎陷入了一个循环，要编译最新版本的storm-kafka，我需要最新版本的storm-core，它需要从源代码自行编译，但我似乎无法将此部署到服务器而不会引起冲突。

我需要更新storm服务器上的那个jar吗？我担心的是我最终需要更新它的依赖项等。

下面是我的 pom.xml 文件

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.automatedintelligence.datastorm</groupId>
<artifactId>DataStorm</artifactId>
<version>0.0.1-SNAPSHOT</version>
<packaging>jar</packaging>
<name>DataStorm</name>
<url>https://github.com/markmcgookin/DataStorm</url>
<properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
</properties>
<repositories>
    <repository>
            <id>local-maven-repo</id>
            <url>file:///${project.basedir}/src/main/java/dependency/repo</url>
        </repository>
    <repository>
        <id>central</id>
        <url>http://central.maven.org/maven2/</url>
    </repository>
    <repository>
        <id>github-releases</id>
        <url>http://oss.sonatype.org/content/repositories/github-releases/</url>
    </repository>
    <repository>
        <id>mvnrepository</id>
        <url>http://mvnrepository.com/</url>
    </repository>
    <repository>
        <id>clojars.org</id>
        <url>http://clojars.org/repo</url>
    </repository>
    <repository>
        <id>twitter4j</id>
        <url>http://twitter4j.org/maven2</url>
    </repository>
</repositories>
<dependencies>
    <dependency>
        <groupId>com.googlecode.json-simple</groupId>
        <artifactId>json-simple</artifactId>
        <version>1.1</version>
    </dependency>
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>3.8.1</version>
        <scope>test</scope>
    </dependency>
    <dependency>
        <groupId>org.apache.commons</groupId>
        <artifactId>commons-collections4</artifactId>
        <version>4.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hbase</groupId>
        <artifactId>hbase-client</artifactId>
        <version>1.0.0</version>
        <exclusions>
            <exclusion>
                <groupId>org.slf4j</groupId>
                <artifactId>slf4j-api</artifactId>
            </exclusion>
            <exclusion>
                <groupId>org.slf4j</groupId>
                <artifactId>slf4j-log4j12</artifactId>
            </exclusion>
            <exclusion> 
                <groupId>log4j</groupId>
                <artifactId>log4j</artifactId>
            </exclusion>
            <exclusion> 
                <groupId>org.slf4j</groupId>
                <artifactId>log4j-over-slf4j</artifactId>
            </exclusion>
        </exclusions>
    </dependency>
    <dependency>                                                                                                                                       
        <groupId>org.apache.hadoop</groupId>                                                                                                           
        <artifactId>hadoop-common</artifactId>                                                                                                         
        <version>2.7.2</version>   
        <exclusions>
            <exclusion>
                <groupId>org.slf4j</groupId>
                <artifactId>slf4j-api</artifactId>
            </exclusion>
            <exclusion> 
                <groupId>org.slf4j</groupId>
                <artifactId>slf4j-log4j12</artifactId>
            </exclusion>
            <exclusion> 
                <groupId>log4j</groupId>
                <artifactId>log4j</artifactId>
            </exclusion>
        </exclusions>                                                                                         
    </dependency> 
    <dependency>
        <groupId>storm</groupId>
        <artifactId>storm</artifactId>
        <version>0.9.0-rc2</version>
        <scope>provided</scope>
        <exclusions>
            <exclusion>
                <groupId>org.slf4j</groupId>
                <artifactId>slf4j-api</artifactId>
            </exclusion>
            <exclusion> 
                <groupId>org.slf4j</groupId>
                <artifactId>slf4j-log4j12</artifactId>
            </exclusion>
            <exclusion> 
                <groupId>log4j</groupId>
                <artifactId>log4j</artifactId>
            </exclusion>
        </exclusions>
    </dependency>
    <dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka_2.11</artifactId>
        <version>0.9.0.0</version>
        <exclusions>
            <exclusion>
                <groupId>org.apache.zookeeper</groupId>
                <artifactId>zookeeper</artifactId>
            </exclusion>
            <exclusion> 
                <groupId>org.slf4j</groupId>
                <artifactId>slf4j-log4j12</artifactId>
            </exclusion>
            <exclusion> 
                <groupId>log4j</groupId>
                <artifactId>log4j</artifactId>
            </exclusion>
            <exclusion>
                <groupId>org.slf4j</groupId>
                <artifactId>slf4j-api</artifactId>
            </exclusion>
        </exclusions>
    </dependency>
    <dependency>
        <groupId>org.apache.storm</groupId>
        <artifactId>storm-kafka</artifactId>
        <version>2.0.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.storm</groupId>
        <artifactId>storm-core</artifactId>
        <version>2.0.0</version>
        <scope>provided</scope>
    </dependency>
</dependencies>
<build>
    <plugins>
        <!-- bind the maven-assembly-plugin to the package phase
        this will create a jar file without the Storm
        dependencies suitable for deployment to a cluster.-->
        <plugin>
            <artifactId>maven-assembly-plugin</artifactId>
            <configuration>
                <descriptorRefs>
                    <descriptorRef>jar-with-dependencies</descriptorRef>
                </descriptorRefs>
                <archive>
                    <manifest>
                        <mainClass/>
                    </manifest>
                </archive>
            </configuration>
            <executions>
                <execution>
                    <id>make-assembly</id>
                    <phase>package</phase>
                    <goals>
                        <goal>single</goal>
                    </goals>
                </execution>
            </executions>
        </plugin>
        <plugin>
            <groupId>com.theoryinpractise</groupId>
            <artifactId>clojure-maven-plugin</artifactId>
            <version>1.3.8</version>
            <extensions>true</extensions>
            <configuration>
                <sourceDirectories>
                    <sourceDirectory>src/clj</sourceDirectory>
                </sourceDirectories>
            </configuration>
            <executions>
                <execution>
                    <id>compile</id>
                    <phase>compile</phase>
                    <goals>
                        <goal>compile</goal>
                    </goals>
                </execution>
                <execution>
                    <id>test</id>
                    <phase>test</phase>
                    <goals>
                        <goal>test</goal>
                    </goals>
                </execution>
            </executions>
        </plugin>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-compiler-plugin</artifactId>
            <configuration>
                <source>1.6</source>
                <target>1.6</target>
                <excludes>
                    <exclude>sl4j:log4j:log4j:jar:</exclude>
                </excludes>
            </configuration>
        </plugin>
    </plugins>
</build>

【问题讨论】：

标签： java maven apache-kafka apache-storm

【解决方案1】：

我最终解决了这个问题，方法是使用来自 maven 存储库的 Storm-kafka 的预编译版本，并向拓扑中添加过滤器螺栓，而不是在 spout 本身中过滤。

因此不再需要storm-core和storm-kafka本地编译的jar文件。

本身不是“解决方案”，但它是解决问题的一种方法。

【讨论】：