【问题标题】:Saving a lot of data to core data causes app termination due to memory issue将大量数据保存到核心数据会导致应用程序因内存问题而终止
【发布时间】:2017-06-15 02:22:06
【问题描述】:

我正在将大量项目下载到 NSArray 中,因为我需要将所有项目都保存在本地以供离线使用,一旦将数据下载到 NSURLSession 竞争处理程序中的 NSArray,我的应用程序的内存使用量相当适中大约 120 MB,但是当我开始循环通过这个 NSArray 将数据插入核心数据并将其保存在本地时,内存峰值非常快地达到 2 GB,然后应用程序由于内存问题而终止。我已经尝试将 NSArray 拆分为数组的 NSArray 以尝试在将每个批次保存到磁盘后释放内存,但这也无济于事,所以我必须遗漏一些东西。我究竟做错了什么?我需要保持较低的内存占用空间,以便我可以下载数据,并且它不是延迟加载的选项,只能下载需要的内容等,因为我必须提供离线场景,所以我绝对必须在本地拥有数据。

总之

完成处理程序启动 for 循环时的内存使用量约为 120 MB 然后它迅速增加到 2 GB 并且应用程序被终止 应用程序始终在前台

我在下面附上下载和保存数据的代码

+ (void)fetchTillDataAll:(int)tillId :(int)startAtRow :(int)takeNoOfRows {  

    if ([NWTillHelper isDebug] == 1) {  
        NSLog(@"WebServices:fetchTillDataAll:tillId = %d, startAtRow = %d, takeNoOfRows = %d", tillId, startAtRow, takeNoOfRows);  
    }  

    NSString *finalURL = [NSString stringWithFormat:@"https://host.domain.com/api/foo/bar];  

    [[[NSURLSession sharedSession] dataTaskWithURL:[NSURL URLWithString:finalURL]  
                                 completionHandler:^(NSData *data, NSURLResponse *response, NSError *error) {  

                                     if (error != nil) {  
                                         if ([NWTillHelper isDebug] == 1) {  
                                             NSLog(@"WebServices:fetchTillDataAll:Transport error %@", error);  
                                         }  
                                     } else {  
                                         NSHTTPURLResponse *responseHTTP;  
                                         responseHTTP = (NSHTTPURLResponse *) response;  

                                         if(responseHTTP.statusCode != 200) {  
                                             if ([NWTillHelper isDebug] == 1) {  
                                                 NSLog(@"WebServices:fetchTillDataAll:Server Error %d", (int) responseHTTP.statusCode);  
                                             }  
                                         } else {  
                                             NSArray *tillBasicDataArray = [NSJSONSerialization JSONObjectWithData:data  
                                                                                                           options:0  
                                                                                                             error:NULL];  
                                             if ([NWTillHelper isDebug] == 1) {  
                                                 NSLog(@"WebServices:fetchTillDataAll:tillBasicDataArray count = %lu", (unsigned long)[tillBasicDataArray count]);  
                                                 NSLog(@"WebServices:fetchTillDataAll:tillBasicDataArray looks like %@",tillBasicDataArray);  
                                             }  

                                             AppDelegate *appDelegate = (AppDelegate *)[[UIApplication sharedApplication]delegate];  


                                             NSPersistentContainer *container = appDelegate.persistentContainer;  

                                             NSArray *arrayOfArrays = [NWTillHelper splitIntoArraysOfBatchSize:tillBasicDataArray :1000];  

                                             for(NSArray *batch in arrayOfArrays) {  

                                                 [container performBackgroundTask:^(NSManagedObjectContext *context ) {  
                                                     context.mergePolicy = NSMergeByPropertyStoreTrumpMergePolicy;  

                                                     NSDictionary *tillBasicDataDict = Nil;  

                                                     /  
                                                     /  
                                                     for (id element in batch){  
                                                         tillBasicDataDict = element;  

                                                         NSString *itemId = [tillBasicDataDict objectForKey:@"itemId"];  
                                                         NSString *brandId = [tillBasicDataDict objectForKey:@"companyId"];  
                                                         NSString *languageId = [tillBasicDataDict objectForKey:@"languageCode"];  
                                                         NSString *colorCode = [NSString stringWithFormat:@"%@", [tillBasicDataDict objectForKey:@"colorCode"]];  
                                                         NSString *discountable = [tillBasicDataDict objectForKey:@"discountable"];  
                                                         NSString *exchangeable = [tillBasicDataDict objectForKey:@"exchangeable"];  
                                                         NSString *noos14 = [tillBasicDataDict objectForKey:@"noos14"];  
                                                         NSString *sizeCode = [NSString stringWithFormat:@"%@", [tillBasicDataDict objectForKey:@"sizeCode"]];  
                                                         NSString *taxGroup = [tillBasicDataDict objectForKey:@"taxGroupId"];  
                                                         NSString *taxRegion = [tillBasicDataDict objectForKey:@"taxRegion"];  
                                                         NSString *tradeItemDesc = [tillBasicDataDict objectForKey:@"tradeItemDesc"];  
                                                         NSString *withTax = [tillBasicDataDict objectForKey:@"withTax"];  
                                                         NSString *status = [tillBasicDataDict objectForKey:@"status"];  

                                                         /  


                                                         NSManagedObject *newPimItem = Nil;  
                                                         newPimItem = [NSEntityDescription  
                                                                       insertNewObjectForEntityForName:@"TillData"  
                                                                       inManagedObjectContext:context];  

                                                         [newPimItem setValue:itemId forKey:@"itemId"];  
                                                         [newPimItem setValue:brandId forKey:@"brandId"];  
                                                         [newPimItem setValue:languageId forKey:@"languageCode"];  
                                                         [newPimItem setValue:colorCode forKey:@"colorCode"];  
                                                         [newPimItem setValue:discountable forKey:@"discountable"];  
                                                         [newPimItem setValue:exchangeable forKey:@"exchangeable"];  
                                                         [newPimItem setValue:noos14 forKey:@"noos14"];  
                                                         [newPimItem setValue:sizeCode forKey:@"sizeCode"];  
                                                         [newPimItem setValue:[NSNumber numberWithInt:[taxGroup intValue]] forKey:@"taxGroup"];  
                                                         [newPimItem setValue:taxRegion forKey:@"taxRegion"];  
                                                         [newPimItem setValue:tradeItemDesc forKey:@"tradeItemDesc"];  
                                                         [newPimItem setValue:[NSNumber numberWithInt:[withTax intValue]] forKey:@"withTax"];  
                                                         [newPimItem setValue:[NSNumber numberWithInt:[status intValue]] forKey:@"status"];  

                                                         if ([NWTillHelper isDebug] == 1) {  
                                                             NSLog(@"WebServices:fetchTillDataAll:ItemId in loop = %@", itemId);  
                                                             NSLog(@"WebServices:fetchTillDataAll:newPimItem = %@", newPimItem);  
                                                             NSLog(@"WebServices:fetchTillDataAll:CoreData error = %@", error);  
                                                         }  

                                                     }  
                                                     NSError *error = nil;  
                                                     if (![context save:&error]) {  
                                                         NSLog(@"Failure to save context: %@\n%@", [error localizedDescription], [error userInfo]);  
                                                         abort();  
                                                     } else {  
                                                         NSUserDefaults *tillUserDefaults = [NSUserDefaults standardUserDefaults];  
                                                         [tillUserDefaults setInteger:1 forKey:@"hasTillData"];  
                                                         [tillUserDefaults synchronize];  
                                                     }  
                                                 }];  
                                             }  
                                         }  
                                     }  
                                 }] resume];  
}  

NSArray 的拆分方法如下所示

+ (NSArray *) splitIntoArraysOfBatchSize:(NSArray *)originalArray :(int)batchSize {  

    NSMutableArray *arrayOfArrays = [NSMutableArray array];  

    for(int j = 0; j < [originalArray count]; j += batchSize) {  

        NSArray *subarray = [originalArray subarrayWithRange:NSMakeRange(j, MIN(batchSize, [originalArray count] - j))];  
        [arrayOfArrays addObject:subarray];  
    }  

    return arrayOfArrays;  
} 

---- 编辑----

我什至尝试将下载分成 1000 条记录的批次,但这也无济于事。

while ( loopCount < numberOfLoops ) {
            if([NWTillHelper isDebug] == 1) {
                NSLog(@"%s loopCount = %d", __PRETTY_FUNCTION__, loopCount);
                NSLog(@"%s startAtRow = %d", __PRETTY_FUNCTION__, startAtRow);
                NSLog(@"%s records to fetch = %@", __PRETTY_FUNCTION__, recordsToFetchStr);
            }

        //[self fetchPricelistAll:(int)[NWTillHelper getPricelist] :0 :recordsToFetch];
        [self fetchPricelistAll:(int)[NWTillHelper getPricelist] :startAtRow :batchSizeInt];

        startAtRow = startAtRow + batchSizeInt;

        loopCount++;
    }

【问题讨论】:

  • 我也尝试过使用@autoreleasepool,但并没有改善这种情况

标签: objective-c core-data memory-management nsarray


【解决方案1】:

我建议拆分 Web 服务响应以按位提供数据。您可以从服务器下载位并将它们保存为文档文件夹中的文本文件。从文本文件中一个接一个地获取数据并将其保存在核心数据中。保存到核心数据完成后删除文件。

【讨论】:

  • 我试过分批加载数据,1000条记录,但还是没关系,问题依旧,必须有办法在每批完成后释放内存,保存到txt文件听起来像一个非常丑陋的黑客,在批量大小的每个循环之后为什么没有释放内存?
  • 我看到您同时将所有数据同时保存到核心数据中。如果您一次将一批保存到核心数据上会怎样。这将减少内存打印。
  • 已经在每批之后保存,每批有1000条记录,而且已经保存在后台块中,所以我认为这意味着它在每批之后保存,你是说不是这样吗?跨度>
  • 根据我对代码的快速回顾,当您使用 performbackgroundtask 方法时,您的 1000 个记录批次将尝试同时保存到核心数据。
  • 真的吗?我不认为持久化容器应该根据 SO 上的其他答案在内部串行队列中执行每个块,并且我没有遇到锁定问题
【解决方案2】:

我们可以按照以下方法进行

  1. 创建 100/1000 条记录后在上下文中调用 save 方法。
  2. 保存后我们可以调用reset方法一个上下文

    [managedObjectContext 重置];

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2012-02-12
    • 1970-01-01
    • 2014-07-24
    • 2014-05-07
    • 2015-05-06
    相关资源
    最近更新 更多