用不同类型的字符串解析txt

Question

我有半结构化数据的 txt 文件，我必须通过 spark-cassandra 在 cassandra 中编写它。但首先我只在 scala 中解析什么。

我的代码：

import java.io.File
import scala.io.Source

object parser extends App {
  val path = "somepath"
  val fileArray = (new java.io.File(path)).listFiles()
   for (file <- fileArray)
    for (line <- Source.fromFile(file).getLines())

那么如何解析每个字符串并获取值以将其放入 cassandra？ 例如我有（int，text，timestamp，int，text，char，int，text）？ 我必须为分隔符（“”）拆分行吗？并将它们放在一个元组中？还是每个都转换为可读格式？

Answer 1

您可能会做的是将它作为带有分隔符（“”）的csv文件来处理？所以让 Spark 为你做解析。

val spark = SparkSession.builder.config(conf).getOrCreate()
val dataFrame = spark.read.option("inferSchema", "true").option("delimiter", " ").csv(csvfilePath)