git 是否将更改的大文件完全上传到远程，或者可以只上传差异？

Question

假设我有一个大文本文件，并且它会定期更改某些部分。我想让它与 git 服务器上的远程版本保持同步，最好只上传其更改的部分。

git 的默认行为是什么？ git每次更改时都会上传整个文件吗？或者可以选择仅上传差异？

非文本（二进制）文件呢？

谢谢

Answer 1

git 是否会在每次更改时上传 [an] 整个文件？或者可以选择仅上传差异？

这个问题的答案实际上是“视情况而定”。

您所描述的系统——我们说“给定现有文件 F，使用 F 的第一部分，然后插入或删除该位，然后使用 F 的另一部分”等等——称为 delta压缩或delta encoding。

作为Tim Biegeleisen answered，Git 存储 - 至少在逻辑上 - 每个文件的完整副本与每次提交（但具有重复数据删除，因此如果提交 A 和 B 都存储 某些文件的相同副本，它们共享一个存储的副本）。 Git 将这些存储的副本称为objects。但是，Git 可以在 Git 所谓的 pack files 中对这些对象进行增量压缩。

当一个 Git 需要将内部对象发送到另一个 Git 以提供提交及其文件时，它可以：

• 逐个发送单个对象，或
• 发送包含对象打包版本的打包文件。

如果您使用发送包文件的 Git 协议，Git 只能在此处使用增量压缩。你可以很容易地判断你是否在使用包文件，因为在git push 之后你会看到：

Counting objects: ... done
Compressing objects: ... done

这个压缩阶段发生在构建包文件时。不能保证当 Git 压缩对象时，它确实确实对另一个 Git 已经拥有的对象的某个版本使用了增量压缩。但这就是我们的目标，而且通常会如此（Git 2.26 中引入并在 Git 2.27 中修复的错误除外）。

技术细节，适合好奇的人

git fetch 和 git push 明确违反了有关打包文件的一般规则。不过，要真正理解这一切是如何运作的，我们应该首先描述这个一般规则。

打包文件

Git 有一个程序（以及可以根据需要更直接使用的各种内部函数），它仅使用一组原始对象或一些现有的包文件或两者来构建一个新的包文件。无论如何，这里要使用的规则是新的包文件应该是完全独立的。也就是说，包文件 PF 中的任何对象只能针对同样在 PF 中的其他对象进行增量压缩。所以给定一组对象 O₁, O₂, ..., O_n，唯一允许的 delta-compression 是压缩一些O_i 针对出现在同一个包文件中的一些 O_j。

至少有一个对象始终是基础对象，即根本没有被压缩。我们称这个对象为 O_b。另一个对象可以针对 O_b1 进行压缩，产生一个新的压缩对象 O_c1 然后，另一个对象可以直接针对任一 O_b1 进行压缩， 或反对O_c1。或者，如果下一个对象似乎没有很好地压缩 O_b1，它可以是另一个基础对象，O_b2。假设下一个对象被压缩，我们称它为O_c2。如果它是针对 O_c1 压缩的，这是一个 delta 链： 到 decompress O_c2，Git 必须读O_c2，看它链接到O_c1，读O_c1，看它链接到O_b1，并检索 O_b1。然后应用O_c1解压规则得到解压后的O_c1，then为O_{c2解压规则子>.}

由于所有这些对象都在一个包文件中，Git 只需要打开一个文件。但是，解压缩很长的链可能需要在文件中进行大量跳转，以找到各种对象并应用它们的增量。因此，三角链长度受到限制。 Git 还尝试将对象以物理方式放置在包文件中，以提高读取（单个）包文件的效率，即使隐含跳转也是如此。

为了遵守所有这些规则，Git 有时会为您的存储库中的每个 对象构建一个全新的包文件，但只是偶尔。在构建这个新的包文件时，Git 使用以前的包文件作为指导，指示哪些以前打包的对象与哪些其他以前打包的对象压缩得很好。然后它只需要花费大量 CPU 时间来查看 new （从以前的包文件开始）对象，看看哪些压缩得很好，因此在构建链时应该使用哪个顺序等等.你可以关闭它并完全从头构建一个包文件，如果以前的包文件（无论如何）构造不佳，git gc --aggressive 会这样做。您还可以调整各种大小：请参阅git repack 的选项。

薄包装

对于git fetch 和git push，包构建代码会关闭“所有对象都必须出现在包中”选项。相反，delta 压缩器被告知它应该假设某些对象集存在。因此，它可以将这些对象中的任何一个用作基础或链对象。当然，假设存在的对象必须在某处可以找到。因此，当您的 Git 与另一个 Git 对话时，他们会通过哈希 ID 来讨论提交。

如果你正在推送，你的 Git 是必须构建一个包文件的那个；如果你正在取货，这与交换边的效果相同。假设你在这里推。

你的 Git 告诉他们：我已经提交 X。他们的 Git 告诉你：我也有 X 或 我没有 X。如果他们确实有 X，你的 Git 会立即知道两件事：

1. 他们也有X的所有祖先。¹
2. 因此，它们拥有 X 的所有树和 blob 对象，以及它的所有 祖先 树和 blob 对象。

显然，如果他们确实有提交 X，你的 Git 不需要发送它。你的 Git 只会发送 X 的后代（可能会提交 Y 和 Z）。但是通过上面的第 2 项，您的 Git 现在可以构建一个包文件，您的 Git 只是假设他们的 Git 拥有所有历史中的每个文件，这些文件导致并包括提交 X .

这就是“假设对象存在”代码真正发挥作用的地方：如果您在提交 Y 中修改了文件 F1 和 F2 和Z，但没有触及其他任何东西，它们不需要任何其他文件——而您的新 F1 和 F2 文件可以针对提交中的任何对象进行增量压缩X或其任何祖先。

生成的包文件称为瘦包。构建精简包后，您的推送（或他们对您的获取的响应者）通过网络发送精简包。他们（为了你的推送，或者为了你的获取）现在必须使用git index-pack --fix-thin“修复”这个瘦包。修复瘦包只需打开它，找到所有 delta 链及其对象 ID，然后在存储库中找到这些对象——请记住，我们已经保证它们可以在 某处找到——并将这些物品放入包中，使其不再薄。

多个包文件

增肥的背包尽可能大，可以装下他们需要装的所有物品。但它们并没有比这更大——它们不持有每个对象，只持有他们需要持有的对象。所以旧的包文件仍然存在。

一段时间后，存储库会构建大量的包文件。此时，Git 决定是时候瘦身了，将多个包文件重新打包成一个可以容纳所有内容的包文件。这允许它完全删除多余的包文件。²默认为 50 个包文件，所以一旦你积累了 50 个单独的包——通常通过 50 次获取或推送操作——git gc --auto 将调用重新打包步骤，您将退回到一个打包文件。

请注意，这种重新打包对瘦包没有影响：它们只依赖于感兴趣的对象的存在，而这种存在是隐含的，因为Git 有一个提交。提交意味着拥有其所有祖先（尽管再次参见脚注 1），所以一旦我们看到另一个 Git 提交了 X，我们就完成了这部分计算，并且可以构建我们的相应地薄包装。

---

¹浅层克隆违反了“所有祖先”的规则并使事情复杂化，但我们实际上不需要在这里详细介绍。

²在某些情况下，最好保留一个旧包；为此，您只需创建一个包名称以.keep 结尾的文件。这主要适用于您共享 --reference 存储库的设置。

Answer 2

如果Git提交文件，一般会提交整个文件，并且会先压缩文件。 Git 不能通过提交对文件的差异来工作。 Git 实际上非常适合对大型文本文件进行版本控制，因为这些文件压缩得非常好，因此会留下占用空间最小的提交痕迹。

另一方面，二进制文件不在 Git 上工作得很好。原因是它们在压缩方面与文本文件相反。二进制文件不能很好地压缩，因此对 Git 存储库中的大型二进制文件进行版本控制会很快导致该存储库膨胀。

根据下面@eftshift0 的评论/问题，我还想澄清一下 Git 与其他版本控制系统的不同之处。对于更经典的版本控制系统，例如 Perforce，所有版本的文件，包括二进制文件，都存在于一些 remote 存储系统（Perforce 称之为“仓库”）。当您在 Perforce 的本地分支中工作时，您实际上只有本地系统中每个文件的一个版本的浅表副本。从存储空间的角度来看，二进制文件是否被压缩并不重要，因为只有一个快照，此外您可能还想使用未压缩的版本。相比之下，在 Git 的模型中，当您克隆 Git 存储库时，会将 every 文件的每个 版本引入本地系统。对于文本源文件（如 Java、C 等），Git 通过 zip 压缩它们部分解决了这个问题。大多数源代码文件在很多情况下都包含非常重复的文本，而 zip 压缩在它们上效果很好，大大减少了大小。但是，在二进制文件的情况下，zip 压缩不能很好地工作。因此，如果您在 Git 历史记录中维护多个版本的二进制文件，您的存储库很容易膨胀。当您去克隆这样的存储库时，您可能最终会拉入 每个 这样的二进制文件的完整大小版本。由于显而易见的原因，这不能很好地扩展，因此通常不建议在 Git 中对大型二进制文件进行版本控制。