ValueError：无法在 Pyspark 中将字符串转换为浮点数答案

【问题标题】：ValueError: could not convert string to float in PysparkValueError：无法在 Pyspark 中将字符串转换为浮点数
【发布时间】：2018-05-13 13:26:10
【问题描述】：

我的 spark RDD 看起来像这样

totalDistance=flightsParsed.map(lambda x:x.distance)
totalDistance.take(5)


[1979.0, 640.0, 1947.0, 1590.0, 874.0]

但是当我在它上面运行 reduce 时，我得到如下所述的错误

totalDistance=flightsParsed.map(lambda x:x.distance).reduce(lambda y,z:y+z)

ValueError：无法将字符串转换为浮点数：

请帮忙。

【问题讨论】：

【解决方案1】：

你试过了吗：

totalDistance=flightsParsed.map(lambda x: int(x.distance or 0))

或

totalDistance=flightsParsed.map(lambda x: float(x.distance or 0))

您可能在 flightParsed 中有丢失或不一致的数据

【讨论】：