【问题标题】:Storm UI Internal Server Error for remote cluster远程集群的 Storm UI 内部服务器错误
【发布时间】:2015-07-12 19:39:03
【问题描述】:

我正在关注 http://jayatiatblogs.blogspot.com/2011/11/storm-installation.html 。 我尝试在 Amazon Web Services 中配置 Apache Storm 远程集群,但在我的 Storm UI 中遇到以下错误:

org.apache.thrift7.transport.TTransportException: java.net.ConnectException: Connection refused
    at org.apache.thrift7.transport.TSocket.open(TSocket.java:183)
    at org.apache.thrift7.transport.TFramedTransport.open(TFramedTransport.java:81)
    at backtype.storm.thrift$nimbus_client_and_conn.invoke(thrift.clj:75)
    at backtype.storm.ui.core$cluster_configuration.invoke(core.clj:472)
    at backtype.storm.ui.core$fn__8260.invoke(core.clj:844)

这是我在 10.0.0.230 的主节点的storm.yaml 文件:

########### These MUST be filled in for a storm configuration
 storm.zookeeper.servers:
     - "10.0.0.230"
#     - "localhost"
#
 storm.zookeeper.port: 2181

 nimbus.host: "127.0.0.1"
 nimbus.thrift.port: 6627
# nimbus.task.launch.secs: 240

# supervisor.worker.start.timeout.secs: 240
# supervisor.worker.timeout.secs: 240

 ui.port: 8772

 storm.local.dir: "/home/ubuntu/storm/data"

 java.library.path: "/usr/lib/jvm/java-7-oracle"

# supervisor.slots.ports:
#     - 6700
#     - 6701
#     - 6702
#     - 6703
#     - 6704

# worker.childopts: "-Xmx768m"
# nimbus.childopts: "-Xmx512m"
# supervisor.childopts: "-Xmx256m"

下面是我在 10.0.0.79 的从节点的storm.yaml 文件:

########### These MUST be filled in for a storm configuration
 storm.zookeeper.server:
     - "10.0.0.230"
#     - "localhost"
 storm.zookeeper.port: 2181

# nimbus.host: "localhost"
 nimbus.host: "10.0.0.230"
 nimbus.thrift.port: 6627
#
#ui.port: 8772
#
 storm.local.dir: "/home/ubuntu/storm/data"
 java.library.path: "/usr/lib/jvm/java-7-oracle"

 supervisor.slots.ports:
     - 6700
     - 6701
     - 6702
     - 6703
#     - 6704
#
# worker.childopts: "-Xmx768m"
# nimbus.childopts: "-Xmx512m"
# supervisor.childopts: "-Xmx256m"

下面是我的主节点 zoo.cfg 文件:

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/ubuntu/zookeeper-data
dataLogDir=/home/ubuntu/zookeeper/log/data_log
clientPort=2181
server.1=10.0.0.230:2888:3888
autopurge.snapRetainCount=3
autopurge.purgeInterval=24

我在主节点中使用了 zkServer.sh start、storm nimbus 和storm ui;从节点中的风暴主管。主节点的myid为1,从节点的myid为2。

错误的原因是什么?如何解决?

【问题讨论】:

  • 问题已解决。该错误是由于 zoo.cfg 文件中的 dataLogDir=/home/ubuntu/zookeeper/log/data_log 造成的。评论该行将解决问题。

标签: apache-storm apache-zookeeper


【解决方案1】:

问题解决了。该错误是由于 zoo.cfg 文件中的 dataLogDir=/home/ubuntu/zookeeper/log/data_log 造成的。注释行将解决问题。

【讨论】:

  • 我很高兴你解决了你的问题,但问题是 dataLogDir 通常是 Zookeeper 的一个非常重要的配置。特别是如果您完全关心 Zookeeper 的性能。此解决方案适用于不存在问题的开发/测试集群,但您稍后会遇到麻烦。您可能最好通过修复底层配置来获得服务。在这种情况下,最简单的解决方案可能是创建一个 Zookeeper 用户具有写入权限的 /home/ubuntu/zookeeper/log/data_log 文件夹。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2015-03-27
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2014-08-20
相关资源
最近更新 更多