使用 NsurlConnection 下载大型 base64 编码数据

Question

我正在尝试使用 POST 请求从服务器下载一个大文件。该文件作为 base64Encoded 数据接收。文件大小超过 400Mb。我使用的第一种方法是附加在 didReceiveData 中收到的数据，然后在 connectionDidFinishLoading 我用来解码数据并写入数据到文档目录中的文件。这种方法适用于小尺寸的文件。但由于文件大小非常大（400MB），它会崩溃。然后我使用 NSFileHandle 的方法在接收到数据时将文件分块写入。我使用 3MB 的块来写入数据。对于小于 3MB 的文件，接收到的数据直接从 base64 解码，文件创建成功。但是当文件大小大于 3MB 并且我尝试使用“initWithBase64EncodedData: Options”从 base64 解码块数据时，我得到的数据为零。想知道我在代码中做错了什么。

- (void)connection:(NSURLConnection*)connection didReceiveResponse:(NSURLResponse*)response
{
    receivedData = [[NSMutableData alloc] init];

    NSString* folderPath = [NSHomeDirectory() stringByAppendingPathComponent:@"/Documents/UserDocs"];
    if(![[NSFileManager defaultManager]  fileExistsAtPath:folderPath]) {
        [[NSFileManager defaultManager] createDirectoryAtPath:folderPath withIntermediateDirectories:NO attributes:nil error:nil];
   }

NSString *strFilePath = [folderPath stringByAppendingPathComponent:strFileName];    NSString *newFilePath = [NSString stringWithFormat:@"%@.%@", strFilePath, strFileExtension];
if(![[NSFileManager defaultManager]  fileExistsAtPath:newFilePath]) {
          [[NSFileManager defaultManager] createFileAtPath:newFilePath contents:nil attributes:nil];
        }

self.fileHandle = [[NSFileHandle fileHandleForWritingAtPath:newFilePath] retain];
        [self.fileHandle seekToFileOffset:0];
}

- (void)connection:(NSURLConnection*)connection didReceiveData:(NSData*)data
{
    [receivedData appendData:data];
    NSUInteger chunkSize = 300000;
    if( receivedData.length > chunkSize  && self.fileHandle!=nil) {

        NSData *chunk = [receivedData subdataWithRange:NSMakeRange(0, chunkSize)];
        NSData *writableData = [[NSData alloc] initWithBase64EncodedData:chunk options:NSDataBase64DecodingIgnoreUnknownCharacters];
       [receivedData replaceBytesInRange:NSMakeRange(0, chunkSize) withBytes:NULL length:0];

       [self.fileHandle seekToEndOfFile];
       [self.fileHandle writeData:writableData];
       [writableData release];
    }
}

- (void)connectionDidFinishLoading:(NSURLConnection*)connection
{
    if (receivedData)
    {
        NSData *writableData = [[NSData alloc] initWithBase64EncodedData:receivedData options:NSDataBase64DecodingIgnoreUnknownCharacters];
        [receivedData release];

        [self.fileHandle seekToEndOfFile];
        [self.fileHandle writeData:writableData];
        [writableData release];

        NSLog(@"File Write Success!!");
    }
}

Answer 1

两种可能的方法：

1. 跳过 base64 编码（如果可以的话）。
2. 在获取数据时将数据写入磁盘，然后使用内存映射将文件映射到 RAM 中，您可以像在内存中一样使用它，但不会实际占用内存。

基本上：

#include <sys/stat.h>
#include <sys/mman.h>
...
NSURL *url = // path to file on disk
char *path = [url fileSystemRepresentation];
struct stat buf;

// Round up to an exact multiple of the page size
NSUInteger size = (buf.st_size + PAGE_MASK) & ~PAGE_MASK;
NSData *data = nil;

if (!stat(path, &buf)) {
    int fd = open(path, O_RDONLY);
    if (fd != -1) {
        mmap(NULL, size, PROT_READ, MAP_FILE|MAP_PRIVATE, fd, 0);
        data = [NSData dataWithBytesNoCopy:buf length:buf.st_size];
    }
}

// Perform a base64 decode on the NSData object and hope that
// at least the result will fit in RAM.

// Clean up.
data = nil;
if (!stat(path, &buf)) {
    int fd = open(path, O_RDONLY);
    if (fd != -1) {
        munmap(addr, size);
    }
}

创建一个可以将数据直接写入磁盘文件的 base64 解码器留给读者作为练习。 :-)