另一个 Derby 实例可能已经启动了数据库 /home/cloudera/metastore_db

Question

我正在尝试使用 Spark 将普通文本文件加载到配置单元表中。我正在使用 Spark 2.0.2 版。我在 Spark 版本中成功完成了它：1.6.0 并且我正在尝试在版本 2x 中做同样的事情 我执行了以下步骤：

    import org.apache.spark.sql.SparkSession
    val spark = SparkSession.builder().appName("SparkHiveLoad").master("local").enableHiveSupport().getOrCreate()
    import spark.implicits._

到目前为止没有问题。 但是当我尝试将文件加载到 Spark 中时：

val partfile = spark.read.textFile("hdfs://quickstart.cloudera:8020/user/cloudera/partfile")

我遇到了一个异常：

Caused by: org.apache.derby.iapi.error.StandardException: Another instance of Derby may have already booted the database /home/cloudera/metastore_db.

core-site.xml 中的默认属性：

 <property>
    <name>fs.defaultFS</name>
    <value>hdfs://quickstart.cloudera:8020</value>
  </property>

后台没有运行其他 hive 或 spark 会话。 我看到了不同的问题，但有相同的例外。所以读一遍，如果你仍然认为它是重复的，你可以标记它。

谁能告诉我如何解决它。

Answer 1

在Spark 2.0.2 spark.sparkContext.textFile 一般被用来 阅读文本文件。

Spark SQL 的 Scala 接口支持自动将包含案例类的 RDD 转换为 DataFrame。案例类定义表的模式。案例类的参数名称使用反射读取并成为列的名称。案例类也可以嵌套或包含复杂类型，例如 Seqs 或 Arrays。这个 RDD 可以隐式转换为 DataFrame，然后注册为表。表可以在后续的 SQL 语句中使用。

示例代码：

mport org.apache.spark.sql.catalyst.encoders.ExpressionEncoder
import org.apache.spark.sql.Encoder

// For implicit conversions from RDDs to DataFrames
import spark.implicits._

// Create an RDD of Person objects from a text file, convert it to a Dataframe
val peopleDF = spark.sparkContext
  .textFile("examples/src/main/resources/people.txt")
  .map(_.split(","))
  .map(attributes => Person(attributes(0), attributes(1).trim.toInt))
  .toDF()
// Register the DataFrame as a temporary view
peopleDF.createOrReplaceTempView("people")

请参考Spark Documentation 了解更多信息并查看其他选项。