如何解决与网络相关的 (hadoop) 应用程序问题？

Question

大家好，我在使用 Hadoop 集群时遇到了一些网络问题，我想我需要了解一些基本的提示和技巧，以加快我找出应用程序无法运行的原因。

以下是我的 4 个基本网络问题：

1) 如何使用 netstat 找出哪些端口是开放的？

2) 端口“打开”与“关闭”是什么意思？

3) 我如何知道哪些端口（打开的端口）连接到哪些应用程序（按名称）？

4) 我如何找出哪些 java 应用程序连接到哪些端口？

上下文：我有一个虚拟机，在 hadoop 中 - 我的 java 程序试图从 hdfs 写入/读取似乎看不到，或者无法通过 hftp 访问 hdfs（相关问题在这里 How can I access hadoop via the hdfs protocol from java? ）。

Answer 1

列出所有正在侦听的端口（您可以使用 telnet 连接到它们）：

1. netstat -nap | grep LISTEN

2. 此处打开可能意味着某个进程正在侦听该端口中的连接。

3. netstat -nap | grep LISTEN 在一列中列出进程 ID。

4. 然而，所有 java 进程仅将 java 显示为主机进程（它们不显示它们正在运行的 Java 应用程序）。如果您想查看正在运行的 Java 应用程序进程，您可以执行ps -aux | grep XXX，其中 XXX 是进程 ID。