在 spark 2.1 中访问共享的 SqlContext

Question

我一次创建sqlContext，然后每隔一段时间访问一次。

我使用这种语法创建了sqlcontext：

class A {
    static SparkConf conf = new SparkConf().setMaster("local").setAppName("SparkApp");
    static JavaSparkContext sc = new JavaSparkContext(conf);
    static SQLContext sqlContext = new SQLContext(sc);
public static void main(String[] args) throws InterruptedException {
     Thread.sleep(86400000);
     }
}

public class B {
    public static void main(String[] args)  {
    System.out.println(A.sqlContext);
    }
}

我可以在创建后从另一个文件 B 访问这个 sqlContext。

但是当我像这样使用sparkSession 创建sqlContext 时：

class A {
    public static SparkConf conf = null;
    public static JavaSparkContext context = null;
    public static SparkListener listener = null;
    public static SQLContext sqlContext = null;
    public static SparkSession sparkSession = null;
public static void main(String[] args) throws InterruptedException {
    conf = new SparkConf();
    sparkSession = SparkSession.builder().appName("TestCsv").master("local").config(conf)
                        // .enableHiveSupport()
                           .getOrCreate();
     context = new JavaSparkContext(sparkSession.sparkContext());
     sqlContext = sparkSession.sqlContext();
     Thread.sleep(86400000);
     }
}

public class B {
    public static void main(String[] args)  {
    System.out.println(A.sqlContext);
    }
}

我可以创建sqlContext。 现在，当我尝试从另一个文件 B 访问此 sqlContext 时，它给了我 null。

Answer 1

在第二种情况下，SQLContext 在 main 函数中初始化，该函数永远不会被调用。如果您将代码更改为：

public class B {
    public static void main(String[] args)  {
    A.main()
    System.out.println(A.sqlContext);
    }
}

在第一种情况下，SQLContext 在声明时被初始化。

一般来说，为了共享上下文，我会在

中初始化它

object App {
    public static void main(String[] args)  {
    val spark = SparkSession.builder.getOrCreate()


    }
}

main 并在必要时使用getOrCreate 方法：

public class B {
    public static void main(String[] args)  {
      System.out.println(SparkSession.builder.getOrCreate().sqlContext);
    }
}