将 scala.collection.Seq<String> 的 Java 对象转换为 python 列表

Question

在 pyspark sparkSession 中，sc 作为我的 sparkContext，调用 getRDDStorageInfo() Java sparkContext，_jsc.sc()，方法返回 RDDInfo[] 的 JavaObject 实例，我可以在 python 中对其进行迭代。

sc._jsc.sc().getRDDStorageInfo() 返回JavaObject id=o473

所以下面的工作：

for s in sc._jsc.sc().getRDDStorageInfo():
    print s.name()
    print s.memSize()
    print s.numPartitions()
    print s.numCachedPartitions()

但是，Java sparkContext 方法listFiles() 返回一个JavaObject scala.collection.Seq<String>。

sc._jsc.sc().listFiles() 返回JavaObject id=o475

当我尝试迭代时，我得到TypeError: 'JavaObject' object is not iterable

如何将scala.collection.Seq<String> 的JavaObject 转换为python 列表（或其他python 可迭代）？

Answer 1

您可以调用 scala 方法 size 和 apply 来执行此操作

files = sc._jsc.sc().listFiles()
py_files = [files.apply(i) for i in range(files.size())]