【问题标题】:How to export table schema into a csv file如何将表模式导出到 csv 文件中
【发布时间】:2023-03-24 16:17:01
【问题描述】:

基本上,我想将配置单元表的架构导出到 csv 文件中。我可以创建一个数据框,然后显示其架构,但我想将其架构写入 csv 文件。看起来很简单,但它不会工作。

【问题讨论】:

  • 你希望输出是什么样的?
  • 您可以从testing.columns 获取列名,从testing.dtypes 获取数据类型。完整架构可在 testing.schema 中找到。将它们转换为 csv 文件相当简单,但这取决于所需的输出。
  • 你只需要通过 spark 吗?通过 shell 有更简单的方法。

标签: python sql csv pyspark export-to-csv


【解决方案1】:

如果您想在 Hive 控制台中执行此操作。你就是这样做的

hive>
INSERT OVERWRITE LOCAL DIRECTORY '/tmp/user1/file1'
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
SELECT * from tablename

然后在 Unix 中

[user1]$
cat file1/* > file1.csv
zip file1 file1.csv

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2014-04-11
    • 2017-12-02
    • 1970-01-01
    • 1970-01-01
    • 2013-09-12
    • 2020-01-09
    • 1970-01-01
    • 2016-05-12
    相关资源
    最近更新 更多