将存储在矩阵中的 n 位数据转换为整数的最优雅方法是什么？

Answer 1

好的，这花了一些时间，因为我一开始专注于brry/ReadBinaryRadarFile，在某些时候意识到brry/dwdradar提供的代码在某种程度上有所不同，所以我不得不重新开始。

但是，让我们仔细看看当前的实现：

1) readRadarFile 调用binary_to_num（Fortran 子程序）@brry/dwdradar：

从readBin(openfile, what = ”raw”, n = 900*900*2, endian = "little") 开始，main 函数似乎是IBITS 的方便包装器。似乎IBITS() 正是这里所需要的：

IBITS(I, POS, LEN)：从 I 中提取长度为 LEN 的字段，从位位置 POS 开始，向左扩展 LEN 位。结果右对齐，其余位清零。

这样，可以直接提取来自位 1-12 的数据，以及存储在各个位 13、14、15、16 中的标志。

2) readRadarFile 调用 bin2num 调用b2n@brry/dwdradar：

也以readBin(openfile, what = ”raw”, n = 900*900*2, endian = "little") 开头。

R 例程可以缩小到rawToBits(data) |> matrix(ncol = 16, byrow = TRUE)，然后是b2n(1)+b2n(2)+…+b2n(12) 和b2n <- function(i) as.numeric(bits[,i])*2^(i-1)。

必须手动构造要提取的位置和长度，而无需对函数参数进行任何调整——从我的角度来看，这不是很方便。

3）read_binary_radolan_file_raw_v3@KWB-R/kwb.dwd：

也使用readBin()，但使用”integer” 模式而不是”raw”：

ints <- readBin(openfile, what = "integer", n = 900*900, size = 2, signed = FALSE, endian = "little")

因此，转换为两个字节的整数是在内部执行的。由于readBin在这里采用16位作为输入，实际数据和标志需要追溯分离。这是使用bitwAnd(ints, 0x0fff) 处理数据和bitwAnd(ints, 0xf000) 处理标志来完成的。不确定在最终创建栅格之前是否根据此处的标记信息调整数据，或者只是作为属性保留。

4）­x.radolan.parse@GeoinformationSystems/xtruso_R：

基本上，也使用readBin(what = “integer”)，后处理包括基于允许的最小值/最大值生成光栅对象和删除标记值。

5) moc.online.uni-marburg.de 引用的资源似乎不向公众提供，因为 HTTP 403：禁止，目前无法评估。

6) https://gitlab.cs.fau.de/since/radolan 因对 Golang 了解不足，未评估。

基准测试包括从作为输入数据的二进制文件到作为输出数据的栅格对象的转换——哦，这超出了“矩阵中的 n 位数据到整数”的范围——而由于后处理步骤的变化（矩阵旋转，从 rvp6 到 dbZ 到降雨强度，范围的定义和创建的栅格对象的投影，...）：

mbm <- microbenchmark::microbenchmark(
  
  "readRadarFile_F @ brry/dwdradar" = readRadarFile_F("raa01-ry_10000-2208041200-dwd---bin")$dat |> raster::raster(),
  "readRadarFile_R @ brry/dwdradar" = readRadarFile_R("raa01-ry_10000-2208041200-dwd---bin")$dat |> raster::raster(),
  "read_binary_radolan_file @ KWB-R/kwb.dwd" = read_binary_radolan_file("raa01-ry_10000-2208041200-dwd---bin"),
  "x.radolan.parse @ GeoinformationSystems/xtruso_R" = x.radolan.parse("raa01-ry_10000-2208041200-dwd---bin"),
  
  times = 100
)

autoplot(mbm)

mbm
#> Unit: milliseconds
#>                                              expr      min        lq      mean    median        uq      max neval
#>                   readRadarFile_F @ brry/dwdradar  27.7828  32.04745  47.73367  38.49400  41.73485 409.6813   100
#>                   readRadarFile_R @ brry/dwdradar 133.8004 144.87255 192.51376 150.62500 162.99490 566.4873   100
#>          read_binary_radolan_file @ KWB-R/kwb.dwd  41.4600  44.02860  48.17945  46.44105  50.39170  81.1589   100
#>  x.radolan.parse @ GeoinformationSystems/xtruso_R 280.3148 301.48180 357.14467 313.21170 330.93485 704.8718   100

看看中位执行时间， binary_to_num() (Fortran) 最快，大约 38 毫秒，正如预期的那样。从我的角度来看，使用IBITS() 并考虑可用参数似乎也很干净，但需要编译。如果最后没有光栅转换，子程序需要大约 6 毫秒才能完成。

至少对我来说，最大的惊喜是 KWB 方法的执行时间非常接近 Fortran 例程。尽管使用了相同的转换，但 xtruso 方法最慢，这可能是由于大量的后处理。 b2n() 在没有 xtruso-post-processing 之前是最慢的，现在可以被视为中间层。

初步结论：

• IBITS() 的 R 实现似乎是解决此问题的一种非常干净的方法，但执行时间可能值得商榷。此外，只要没有使用 R 的现有可比方法，从头开始实施可能会很耗时。

• readBin(what = “integer”) 回顾性需要更多数据清理，但由于raster 开销（甚至可以使用terra 减少），执行时间似乎与Fortran 子例程相当。

下一步，因为我现在必须停下来：

• 对来自上述方法的单个 sn-ps 的组合进行基准测试。我的印象是，每种方法都有一些我认为是“最佳实践”的部分，然后还包括一些不太方便/优雅的部分。