在 Spark Java API 中从地图创建数据框

Question

我正在尝试在 java API 中使用 spark sql，下面的简单内容（从官方指南复制：https://spark.apache.org/docs/latest/rdd-programming-guide.html）不会让 intelij 高兴。

它抱怨ClassTag 的东西，我不知道如何创建它或让它自动导入什么的。

        List<Integer> data = Arrays.asList(1, 2, 3, 4, 5);
        JavaRDD<Integer> distData = sc.parallelize(data);

我知道它想使用 3 个参数

public <T> RDD<T> parallelize(final Seq<T> seq, final int numSlices, final ClassTag<T> evidence$1) {

但是我怎样才能得到这个evidence$1 的东西？ 官方的例子也没有论据

请帮忙。

Answer 1

我决定查看官方指南附带的示例源代码。 事实证明它需要创建java spark上下文 在我使用了指南源代码中的示例后，我的工作开始了。

import scala.Tuple2;
import org.apache.spark.api.java.JavaSparkContext;

List<Tuple2<String, String>> data =
        Arrays.asList(
                new Tuple2<>("key1","value1")
                , new Tuple2<>("key2", "value2")
        );

JavaPairRDD<String, String> dataRdd = jsc.parallelizePairs(data);