Spark 键/值对问题

Question

如何遍历假定具有 Array[Array[String]] 的键的值。我有一个键k，在使用sc.wholetextfiles 读取文件后，其值采用Array[Array[String]] 格式。如何遍历每个键的值以逐行读取值

Answer 1

看来你需要这样的东西：

textFilesData.values.map(doubleArray => doubleArray.flatten.map(line=> ...))

虽然，我们需要知道您的确切数据类型才能确定，因为您的问题仍然有点模糊，可以使用更多细节以获得更好的答案。