如何删除pyspark数据框中引号之间的空格？

Question

我正在尝试删除引号之间的空格，但没有得到正确的结果。你能帮我怎么做吗？

例子：

Local_Manufacturer|SKU_PackID_ProductNumber|Molecule_Name|BrandName_Intl
"UPJOHN                 "|"894265"|"SILDENAFIL"|"REVATIO"

理想的输出：

Local_Manufacturer|SKU_PackID_ProductNumber|Molecule_Name|BrandName_Intl
"UPJOHN"|"894265"|"SILDENAFIL"|"REVATIO"

我试过下面的代码：

for c_name in df1.columns:
     df1 = df1.withColumn(c_name, trim(df1[c_name]))

Answer 1

导入trim函数。

import pyspark.sql.functions as f

for c_name in df1.columns:
     df1 = df1.withColumn(c_name, f.trim(df1[c_name]))
        
df_list = df1.collect()
print(df_list)

[Row(Local_Manufacturer='UPJOHN', SKU_PackID_ProductNumber='894265', Molecule_Name='SILDENAFIL', BrandName_Intl='REVATIO')]

结果被修剪。