【发布时间】:2019-04-10 05:21:31
【问题描述】:
我正在为 Scala 使用 eclipse ide,并且我已经从 eclipse 市场下载了 scala-ide 插件。在 eclipse 中使用 scala 插件时出现错误。在 Eclipse 中使用 dot(.) 或自动生成函数时显示以下错误消息:
在“计算附加信息”期间发生内部错误。 org.eclipse.jdt.internal.core.SearchableEnvironment.(Lorg/eclipse/jdt/internal/core/JavaProject;Lorg/eclipse/jdt/core/WorkingCopyOwner;)
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession
import java.lang.Long
object UrbanPopulation {
def main(args: Array[String]) {
val spark = SparkSession
.builder
.appName("UrbanPopulation")
.getOrCreate()
val data = spark.read.csv(args(0)).rdd
val result = data.map { line => {
val uPopulation = line.getString(10).replaceAll(",", "")
var uPopNum = 0L
if (uPopulation.length() > 0)
uPopNum = Long.parseLong(uPopulation)
(uPopNum, line.getString(0))
}}.sortByKey(false).first
spark.sparkContext.parallelize(Seq(result)).saveAsTextFile(args(1))
spark.stop
}
}
[![enter image description here][1]][1]
[1]: https://i.stack.imgur.com/aTGbp.png
【问题讨论】:
标签: eclipse scala apache-spark