R kohonen：最大数据大小有多大？整数溢出错误答案

【问题标题】：R kohonen : how big is maximum data size? Integer overflow errorR kohonen：最大数据大小有多大？整数溢出错误
【发布时间】：2015-04-12 00:32:45
【问题描述】：

我正在使用带有 8 GB RAM 机器 (MacBook Pro) 的 RStudio。我还在 AWS 中使用具有 15 GB RAM 的 RStudio Server。

对于 800,000 多条记录的数据大小，两者似乎都无法完成 som()。 100,000 条记录似乎也永无止境。

我想知道 R kohonen 包是否有实际的数据大小限制？那么，对于这么大的数据，我应该如何处理 SOM？

更新： RStudio Server 最终以错误结束：

矩阵中的错误（0，nd * ncodes，nmaps）：无效的“nrow”值（太大或 NA）另外：警告信息：在 nd * ncodes : 整数溢出产生的 NAs

那么限制是什么？

【问题讨论】：

标签： r som

【解决方案1】：

我没有使用“trainingset”作为 trainX，而是回收了 som_model 的数据（因为 keep.data = TRUE），所以当空间受限时，我不必为 trainX 保留额外的数据集。

prediction <- predict(som_model, newdata = as.matrix(testset), trainX = som_model$data, trainY=cl )

【讨论】：

【解决方案2】：

我也遇到了同样的问题，原来我没有把一些数据转换成矩阵。

kohonen 包不能很好地处理数据帧。确保使用：

as.matrix(data)

例如

som_model <- som(data = as.matrix(trainingset), grid = som_grid, rlen=1000, alpha=c(0.05,0.01), 
             keep.data = TRUE,
             n.hood="circular" )
prediction <- predict(som_model, newdata = as.matrix(testset), trainX = as.matrix(trainingset), trainY=cl )

【讨论】：