【问题标题】:string manipulation for column names in pysparkpyspark中列名的字符串操作
【发布时间】:2017-06-03 15:26:21
【问题描述】:

这篇文章很好地概述了如何更改列名。 How to change dataframe column names in pyspark?

尽管如此,我需要更多/稍微调整一下我无法做到的事情。任何人都可以帮助从所有列名中删除空格吗?它需要例如加入命令和系统方法减少了处理 30 列的工作量。我想正则表达式和 UDF 的组合效果最好。

示例: 根 |-- 客户:字符串(可为空=真) |-- 分支号:字符串(可为空=真)

【问题讨论】:

    标签: regex pyspark udf


    【解决方案1】:

    有一个真正简单的解决方案:

    for name in df.schema.names:
      df = df.withColumnRenamed(name, name.replace(' ', ''))
    

    【讨论】:

      【解决方案2】:

      如果您想使用与前缀(或后缀)连接的相同列名重命名多个列,这应该可以工作

      df.select([f.col(c).alias(PREFIX + c) for c in columns])
      

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2021-06-27
        • 2017-08-02
        • 2018-12-24
        • 2019-03-25
        • 2017-06-30
        • 2013-08-22
        相关资源
        最近更新 更多