如何以正确的格式以科学记数法显示 PySpark 数据框中的列

Question

假设我在 pyspark 中有如下数据框：

+---------+---------+
|   col1  |  col2   |
+---------+---------+
|3.34567e4| 45876549| 
+---------+---------+
|4.4781e8 | 7856549 |
+---------+---------+

我想以科学计数法保留col1，但显示小数点后 2 位的数字。我还想将col2 更改为科学格式。所以结果应该如下：

+---------+---------+
|   col1  |  col2   |
+---------+---------+
|  3.35e4 |  4.59e7 | 
+---------+---------+
|  4.48e8 |  7.86e6 |
+---------+---------+

我搜索了很多，但没有找到任何答案。

Answer 1

您可以使用pyspark.sql.functions.format_string，它允许您应用printf 样式格式来显示结果。

在这种情况下，您可以使用格式字符串"%.2e" 来格式化带有 2 个小数点的指数（科学）表示法的浮点数。

例如：

from pyspark.sql.functions import col, format_string

df.select(*[format_string("%.2e", col(c).cast("float")).alias(c) for c in df.columns]).show()
#+--------+--------+
#|    col1|    col2|
#+--------+--------+
#|3.35e+04|4.59e+07|
#|4.48e+08|7.86e+06|
#+--------+--------+

请注意，结果列是字符串（而不是数字）。