如何在 Spark 中对事务表进行主要压缩？

【问题标题】：How to do major compaction on a transactional table in Spark?如何在 Spark 中对事务表进行主要压缩？
【发布时间】：2026-02-06 08:10:02
【问题描述】：

我有一个事务表，我想使用主要压缩在这个事务表上创建数据帧。但我不知道该怎么做。 那么，谁能告诉我在事务表上进行主要压缩的步骤？

【问题讨论】：

  • 请提供您遇到问题的代码示例。
  • 我不清楚你想做什么。 ?压缩是不影响任何功能的抽象活动。
  • 由于我的表是事务性的，所以我们不能直接使用spark来创建dataframe。有两种方法可以在事务表上创建数据框。一种是使用 JDBC，另一种是 Major compaction。 @ShivaKumarSS

标签： apache-spark hive


【解决方案1】：

您可能将hbase 与hive/spark 混为一谈：后者无需担心compaction（更不用说“主要”压缩）了。

【讨论】：

  • 由于我的表是事务性的，所以我们不能直接使用spark来创建dataframe。有两种方法可以在事务表上创建数据框。一种是使用 JDBC，另一种是 Major compaction。 @javadba
  • 你在说什么使用major compaction在事务表上创建数据帧。这不是火花概念或能力
  • 不是hive，而是hbase——如上所述hadoop-hbase.blogspot.com/2014/07/…
猜你喜欢
相关资源
最近更新 更多
热门标签
Java Python linux javascript C# Mysql Docker 算法 前端 SpringBoot Redis Vue spring .net 设计模式 .net core c++ kubernetes 数据库 机器学习 大数据 数据结构 微服务 js 人工智能 Go Android 面试 程序员 JVM 云原生 后端 ASP.net core 深度学习 CSS k8s git golang PHP devops Nginx Django React mybatis 架构 多线程 Spring Boot 云计算 LeetCode 分布式