如何将嵌套案例类转换为 UDTValue 类型

Question

我正在努力使用自定义案例类使用 Spark (1.4.0) 写入 Cassandra (2.1.6)。到目前为止，我已经通过使用 DataStax spark-cassandra-connector 1.4.0-M1 和以下案例类进行了尝试：

case class Event(event_id: String, event_name: String, event_url: String, time: Option[Long])
[...]
case class RsvpResponse(event: Event, group: Group, guests: Long, member: Member, mtime: Long, response: String, rsvp_id: Long, venue: Option[Venue])

为了完成这项工作，我还实现了以下转换器：

implicit object EventToUDTValueConverter extends TypeConverter[UDTValue] {
  def targetTypeTag = typeTag[UDTValue]
  def convertPF = {
    case e: Event => UDTValue.fromMap(toMap(e)) // toMap just transforms the case class into a Map[String, Any]
  }
}

TypeConverter.registerConverter(EventToUDTValueConverter)

如果我手动查找转换器，我可以使用它将Event 的实例转换为UDTValue，但是，当使用sc.saveToCassandra 将RsvpResponse 的实例与相关对象传递给它时，我会得到以下错误：

15/06/23 23:56:29 ERROR Executor: Exception in task 1.0 in stage 0.0 (TID 1)
com.datastax.spark.connector.types.TypeConversionException: Cannot convert object Event(EVENT9136830076436652815,First event,http://www.meetup.com/first-event,Some(1435100185774)) of type class model.Event to com.datastax.spark.connector.UDTValue.
    at com.datastax.spark.connector.types.TypeConverter$$anonfun$convert$1.apply(TypeConverter.scala:42)
    at com.datastax.spark.connector.types.UserDefinedType$$anon$1$$anonfun$convertPF$1.applyOrElse(UserDefinedType.scala:33)
    at com.datastax.spark.connector.types.TypeConverter$class.convert(TypeConverter.scala:40)
    at com.datastax.spark.connector.types.UserDefinedType$$anon$1.convert(UserDefinedType.scala:31)
    at com.datastax.spark.connector.writer.DefaultRowWriter$$anonfun$readColumnValues$2.apply(DefaultRowWriter.scala:46)
    at com.datastax.spark.connector.writer.DefaultRowWriter$$anonfun$readColumnValues$2.apply(DefaultRowWriter.scala:43)

由于连接器库在内部处理UDTValue 的方式，我的转换器似乎从未被调用过。但是，上述解决方案确实适用于从 Cassandra 表（包括用户定义的类型）中读取数据。基于connector docs，我还直接用com.datastax.spark.connector.UDTValue 类型替换了我的嵌套案例类，然后修复了所描述的问题，但中断了读取数据。我无法想象我打算定义 2 个单独的模型来读取和写入数据。还是我在这里遗漏了一些明显的东西？

Answer 1

从 1.3 版开始，无需使用自定义类型转换器来加载和保存嵌套的 UDT。只需使用案例类对所有内容进行建模并遵守字段命名约定，就可以了。