是否可以使用 pyspark 将未引用的 JSON 转换为 CSV 或适当的 JSON 格式答案

【问题标题】：Is it possible to convert unquoted JSON to either CSV or appropriate JSON format using pyspark是否可以使用 pyspark 将未引用的 JSON 转换为 CSV 或适当的 JSON 格式
【发布时间】：2021-09-16 19:02:48
【问题描述】：

我正在使用 pyspark 从日志文件中提取所需的字符串，该字符串是 JSON 字符串，但没有引号。下面是例子：

{PlatformVersion=123,PlatformClient=html,namespace=NAT}

我想将其转换为 CSV 或 JSON，因为我想使用数据管道将其进一步存储到关系数据库中。有没有办法实现将此类字符串转换为 CSV 或 JSON？

【问题讨论】：

未引用的 JSON 不是 JSON。这个也有等号，即使被引用也不是 JSON。你可以从replace开始。

标签： python json pyspark databricks

【解决方案1】：

下面正在做这项工作。

步骤：

去掉花括号
由,分割
由=拆分
用键和值填充字典

    result = {}
    log_line = '{PlatformVersion=123,PlatformClient=html,namespace=NAT}'
    log_line = log_line[1:-1]
    parts = log_line.split(',')
    for part in parts:
        k,v = part.split('=')
        result[k] = v
    print(result)

output

    {'PlatformVersion': '123', 'PlatformClient': 'html', 'namespace': 'NAT'}

【讨论】：