pyspark中的解析地址函数

Question

我想在 PySpark 的数据框中添加一列，地址通过 libpostal 库解析。

import pyspark.sql.functions as sf
from postal.parser import parse_address
df = spark.read.parquet(path_hdfs)
df = df.select("id", "name" ,"street", "cty")\
       .withColumn("address", parse_address(sf.concat(col("street"),sf.lit(" ") ,col("cty"))))\
       .dropDuplicates()

但我得到了错误：

TypeError: 无法将 'Column' 对象转换为字节

如何更改 parse_address 的参数以被该函数接受？

Answer 1

你需要使用一个UDF来调用Python库，例如

df = df.select("id", "name" ,"street", "cty")\
       .withColumn("address", 
           sf.udf(parse_address, 'array<struct<val:string,key:string>>')
           (sf.concat("street", sf.lit(" "), "cty"))
       )\
       .dropDuplicates()