Amazon EMR Hbase，Thrift 服务器消失了

Question

我正在为 Hbase 使用 EMR。我有一个 python api，它使用 celery 将数据异步写入 Hbase。但时不时地，也有例外。 有时例外是关于传输框架，有时只是管道损坏。 我总是必须登录到我的主服务器并手动重新启动节俭服务器并重新启动我的 celery 。我也松散数据。

有什么解决办法吗？

我编写了一个 crontab，它每 5 分钟运行一次以运行 hbase-daemon.sh start thrift 命令，但我在 /var/spool/mail/hadoop 中收到一封错误邮件，即 Error: JAVA_HOME is not set and Java could not be found。

Answer 1

您是否检查过 thrift 日志是否有任何异常？

如果您在日志中没有发现任何异常，则表示 thrift 正在被杀死，这通常发生在 OutOfMemoryError 上。所以基本上你只需要为 thrift 服务器增加更多内存或者同时打开更少的扫描器（扫描器会消耗大量资源）。

关于JAVA_HOME报错，你得给用户hadoop设置一下

export JAVA_HOME=/path/where/java/is

Answer 2

如果 thrift 服务器经常崩溃，原因之一可能是您没有关闭扫描仪。所以最终thrift使用的内存超过4-5gb，然后崩溃。关闭扫描仪并尝试。使用 smem 找出它正在使用多少内存。此外，还会生成一个日志文件，几乎每次都有引发异常的原因。

这是您在主服务器中访问日志文件的方式：

1. cd hbase\logs
2. ls -lt //根据时间对文件进行排序
3. vi [结果中第1位的日志文件名称] //查看日志