reg: sqlContext 的库依赖是什么？

Question

详情如下：---

我们有 spark 环境 1.6.1，Scala 版本 2.10.5（OpenJDK 64-Bit Server VM，Java 1.8.0_77）。

我使用“库处理”选项作为“将所需库提取到生成的 jar”中制作了一个可运行的 jar。 我在 spark env 中执行了 jar，使用以下 spark-submit 选项

spark-submit --class spark_sqlserver_Conn.jar --master yarn

我在 Stackoverflow 内外做了一些研究，确实找到了解决方案，但它们对我不起作用。

那么，我想配置的正确的 maven 依赖项是什么？

我也收到如下错误：- 在线程“main”中 java.sql.SQLException: 没有合适的驱动程序

    package spark_sqlserver.tblcreation

            import java.util.Properties
            import java.sql.DriverManager
            import java.sql.Connection
            import org.apache.spark.SparkContext
            import org.apache.spark.SparkConf

            object SQLServerTbleCreate {  
                def main (args: Array[String]){              
                  val conf = new SparkConf()
                                 .setAppName("test SQL")
                                 .setMaster("path to Spark Master Server")
                                 .set("spark.executor.memory","1g");
                  val sc = new SparkContext(conf)
                  val sqlContext = new org.apache.spark.SQLContext(sc)  

                  var props= new java.util.Properties()
                  props.setProperty("driver",                                                                                                                                                                          "com.microsoft.sqlserver.jdbc.SQLServerDriver")

         val jdbcDF = sqlContext.read.format("jdbc").options(Map( "url" ->      "jdbc:sqlserver://xxx:xxxx/xxx?user=xxxxx&password=xxxxx", 
"dbtable"-> "xxxx")).load()

         val test = sqlContext.sql("SELECT xxxx ,xxxx FROM xxxxx")
         test.show(10)

          }
        }

我的eclipse配置了“C:\Program Files\Java\jre1.8.0_121\bin\server\jvm.dll”

日食 MARS2

我通过“构建路径”捆绑了 sqljdbc4-2.0.jar

问候， 阿米特什·萨哈伊

Answer 1

首先更改您的代码，例如

package spark_sqlserver.tblcreation

import org.apache.spark.SparkContext
import org.apache.spark.sql.SQLContext
import org.apache.spark.SparkConf

object SQLServerTbleCreate {  
    def main (args: Array[String]){              
         val conf = new SparkConf()
                    .setAppName("test SQL")                    
                    .set("spark.executor.memory","1g");
        val sc = new SparkContext(conf)
        val sqlContext = new org.apache.spark.SQLContext(sc)  

        val jdbcSqlConnStr = "jdbc:sqlserver://xxx.xxx;databaseName=xxx;user=xxx;password=xxx;"

        val jdbcDF = sqlContext.read.format("jdbc").options(Map("url" -> jdbcSqlConnStr, "dbtable" -> jdbcDbTable)).load()


         val test = sqlContext.sql("SELECT xxxx ,xxxx FROM xxxxx")
         test.show(10)

        }
}

然后你需要提供正确的语法来启动你的应用程序，并且还需要使用 --jars 参数提供所需的依赖项：

spark-submit --class "your main class full reference" --master yarn --deploy-mode cluster --jars "full path to your jars with comma delimiter" "your jar package" "args"

例如

spark-submit --class com.run.Main --master yarn --deploy-mode cluster --jars /home/user/test.jar,/home/user/log.jar application.jar "Hello!"

Answer 2

错误似乎是类路径问题而不是版本冲突。确保您的驱动程序在您的类路径中。您也可以通过右键单击项目来确保它来自 Eclipse。

在 Eclipse 中，通过右键单击项目 → 构建路径 → 配置构建路径。在 Libraries 选项卡下，单击 Add Jars 或 Add External JARs 并提供 Jar。