多文件流 hdfs

Question

我在不同的文件上有两个矩阵。我必须将文件读入缓存，以便将它们相乘。我一直想知道 HDFS 是否会帮助我。我怀疑 HDFS 没有，因为它没有足够的缓存来读取文件并处理它。总之我可以同时打开两个文件吗

Answer 1

要回答您的问题的简短版本，是的，HDFS API 确实允许一次并发读取两个文件。您可以简单地在两个文件上创建两个输入流并并行读取它们（就像使用常规文件一样）并围绕它管理您的逻辑。

但是，HDFS 是一个简单的文件系统，没有自己的缓存可提供（操作系统缓冲区缓存除外），任何您需要携带的计算缓存都需要由您自己的应用程序处理。

作为另一个一般性建议，由于您希望使用矩阵相乘，不妨看看支持 HDFS 的 Apache Mahout 和 Apache Hama 项目。