在 java spark 中从 REST API 读取 csv答案

【问题标题】：Read csv from REST API in java spark在 java spark 中从 REST API 读取 csv
【发布时间】：2021-02-26 12:25:05
【问题描述】：

我们如何从 REST API 读取 csv 并在 java spark 中处理它，

基本上我正在寻找以下scala代码的java等效代码

process-csv-from-rest-api-into-spark

import scala.io.Source._
import org.apache.spark.sql.{Dataset, SparkSession}

var res = fromURL(url).mkString.stripMargin.lines.toList
val csvData: Dataset[String] = spark.sparkContext.parallelize(res).toDS()

val frame = spark.read.option("header", true).option("inferSchema",true).csv(csvData)
frame.printSchema()

【问题讨论】：

标签： java apache-spark apache-spark-sql

【解决方案1】：

我们可以使用下面链接中提到的方法来读取数据并将每一行添加到列表中。

这个列表可以传递给parallelise()

Java read CSV file from the web

【讨论】：