有没有办法在 Spark 中不使用 SQL 来读取数据？

Question

我是 Spark 的初学者，我被分配从 csv 读取数据并使用 Spark Core 执行一些查询数据。 但是，我搜索的每个在线资源都使用 pyspark.sql 模块中的某种形式的 SQL。

有没有什么方法可以仅使用 Spark Core 读取数据并执行数据查询（选择、计数、分组）？

Answer 1

Spark Core 是概念 RDD。 Here你可以找到更多关于处理一些文本文件的信息和例子。