在 C 中访问大文件

Question

我需要使用 C 访问一个大于 2gb 的文件。在一次程序运行期间，将从文件中读取可变数量的字节并保存下一个位置的位置。在程序的下一次运行期间，将读取文件位置并从该位置开始读取多个字节。

复杂之处在于，有时可能会通过将文件复制到新文件来“压缩”文件，减去已读取的任何字节（我认为复制是唯一的方法）。这样删除的字节数也会被保存。

我需要知道文件从原始开始的当前位置，以便与另一个文件同步。这应该很容易，因为它只是 (current_offset + deleted_bytes)。

不容易的原因是 fseek 只使用 long int 索引，将文件限制为 2gb，而 fsetpos 使用 fpos_t 结构作为位置索引，它不是数字，不能来回转换为一。我不知道有什么方法可以使用 long long int 索引进行文件定位，这将是理想的解决方案。

我该怎么办？

Answer 1

在 Windows 上，您可以使用 _lseeki64() 进行 64 位搜索。

为了与 linux 兼容，您还可以在编译时添加 -D_FILE_OFFSET_BITS=64，然后在您的某个标头中执行此操作：

#ifdef __MINGW32__ // or whatever you use to find out you're compiling on windows
#define lseek _lseeki64
#endif

然后像往常一样在任何地方使用lseek()。这是可行的，因为 windows 忽略了 _FILE_OFFSET_BITS 标志，并且 linux 不会看到 lseek 的重新定义。

如果您更喜欢FILE* 版本，还有_fseeki64()，还有等效的64 位tell() 和ftell() 函数（_telli64() 和_ftelli64()）。

Answer 2

添加编译标志-D_FILE_OFFSET_BITS=64，使fopen、fseek、off_t等变为64位，可用于处理大于2 GB的文件。请参阅Large File Support in Linux 了解更多信息。