【问题标题】:Finding ideal filter setting to maximize target function寻找理想的过滤器设置以最大化目标功能
【发布时间】:2020-12-02 05:47:06
【问题描述】:

我有一个巨大的真实数据集,其中有 4 列(-10 到 +10 范围内的数值数据),我可以使用它们来过滤数据。可以同时使用任意数量的过滤器,并且可以使用表单中的过滤器的任何设置(>、

我试图找到过滤器的所有组合(例如 A>1、B0.5 等),但我坚持使用算法找到最佳解决方案,而不仅仅是尝试和错误.暴力尝试所有组合也不是解决方案,因为数据集很大,因此计算不会在合理的时间内结束。

您将如何进行 4 维的“网格搜索”?

这里是一个简化的例子:

library(tidyverse)
df <- tribble(~Size, ~A, ~B, ~D, ~E,
          1, "4", "7", "-2", "1",
          5, "-4", "-1", "1", "4",
          10, "-2", "-3", "1", "9",
          -3, "1", "0", "0", "-3",
          2, "4", "-1", "3", "-2",
          55, "8", "-7", "9", "0",
          -5, "3", "-4", "-1", "-5",
          2, "0", "-2", "1", "8",
          1, "-5", "1", "8", "1",
          4, "-9", "3", "2", "-3")

【问题讨论】:

  • 对于给定示例,您想要的输出是什么?
  • 这个例子是真实问题的一个非常简化的形式。解决方案应包含需要应用哪些过滤器(以 >、0.5,将产生 (1+-3+2+55+-5)/5 = 10 的平均大小。这将是一个候选解决方案。
  • 过滤器中是否必须使用所有列?在任何情况下,您都可以使用启发式方法,例如一个本地搜索,来解决这个问题。优点是这种方法可以让您直接实现您的问题,而无需以任何方式对其进行转换。 (参见例如stackoverflow.com/questions/56159342/…
  • 如果我理解正确的话,E > -1.5 会比 A > 0.5 更好吗?
  • @EnricoSchumann:谢谢你的建议。至少可以包含一个,最多可以包含所有 4 个变量。我检查了链接,但是您将如何针对此问题实施本地搜索算法?

标签: r optimization filter combinations grid-search


【解决方案1】:

这是解决问题的一种方法,以及一种可能的实现 在 R 中。这只是一个草图,真的;也许还有更多 建设性方法(如 Joseph Wood 在 cmets) 也可能会产生良好的效果。

你的数据集,再次:

df <- read.table(text = "
   Size,  A,  B,  D,  E
      1,  4,  7, -2,  1
      5, -4, -1,  1,  4
     10, -2, -3,  1,  9
     -3,  1,  0,  0, -3
      2,  4, -1,  3, -2
     55,  8, -7,  9,  0
     -5,  3, -4, -1, -5
      2,  0, -2,  1,  8
      1, -5,  1,  8,  1
      4, -9,  3,  2, -3",
  sep = ",", header = TRUE)

我在这里使用一个普通的数据框。为了方便,我 将“大小”放入单独的变量中。

size <- df$Size
df <- df[, -1]
df

##     A  B  D  E
## 1   4  7 -2  1
## 2  -4 -1  1  4
## 3  -2 -3  1  9
## 4   1  0  0 -3
## 5   4 -1  3 -2
## 6   8 -7  9  0
## 7   3 -4 -1 -5
## 8   0 -2  1  8
## 9  -5  1  8  1
## 10 -9  3  2 -3

现在,我允许过滤器成为一个函数,它需要一个 df 列作为输入,可能还有第二个 争论。这样的过滤器必须评估为逻辑 具有与df 一样多的元素的向量具有行。为了 例如,大于关系将使用 函数&gt;,第二个参数是 临界点。我在列表中收集所有允许的功能 functions。 (第一个函数实际上忽略了 给定列。)

functions <- list(function(x, ...) TRUE,
                  `<`,
                  `>`)

然后,候选解决方案x 是一个过滤器列表(与df 中的列一样多的过滤器) 和这些过滤器的参数。下列 解决方案不应用任何过滤器,因为对于输入的任何列,它总是返回TRUE(即不排除任何行):

x <- list(functions = list(function(x, ...) TRUE,
                           function(x, ...) TRUE,
                           function(x, ...) TRUE,
                           function(x, ...) TRUE),
          parameters = c(0, 0, 0, 0))

应用过滤器的辅助函数:它返回一个 具有与df 一样多的元素的逻辑向量具有行。

subs <- function(x, df) {
    rows <- !logical(nrow(df))
    for (i in seq_len(ncol(df)))
        rows <- rows & x$functions[[i]](df[, i], x$parameters[[i]])
    rows
}

我们可以用x 测试这个功能。理所应当的,它 选择df 的所有行。

subs(x, df)
## [1] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE

现在本地搜索的策略是逐步 更改x 的元素。每当这样的变化 导致更好的解决方案,我们保留它。如果情况更糟, 我们不接受。有关详细信息,请参阅Optimization Heuristics: A Tutorial。 (披露:我是作者;我也是我将在下面使用的NMOF 包的维护者。)

运行这样的搜索,我们首先需要一个目标 功能。它将给定的行子集映射为单个数字,即平均大小。请注意,稍后使用的算法最小化, 所以我将目标函数的结果乘以 -1(最后一行中的 -ans)。不可行的解决方案(少于 5 行)受到处罚。

mean_size <- function(x, df, size, ...) {
    rows <- subs(x, df)
    subset.df <- df[rows, ]
    size <- size[rows]
    ans <- sum(size) / max(1, sum(rows))
    if (sum(rows) < 5)
        ans <- ans - 1000
    -ans   ## to minimise, return 'ans'
}

检查:初始解决方案选择所有行(但请注意 反转符号)。

mean_size(x, df, size)
## [1] -7.2

mean(size)
## [1] 7.2

现在是关键部分:社区。功能 选择一个过滤器或一个参数,然后更改它。

neighbour <- function(x, ...) {
    stepsize <- 0.5
    rand <- runif(1)         
    i <- sample(length(x$parameters), size = 1)

    if (rand > 0.5) {
        x$functions[[i]] <- sample(functions, size = 1)[[1]]
    } else {
        d <- sample(c(-stepsize, stepsize), size = 1)
        x$parameters[i] <- min(max(x$parameters[i] + d, -10), 10)        
    }
    x
}

现在我们可以运行优化了。我使用一种称为 阈值接受,在函数中实现 TAopt。阈值接受是一种特殊类型的本地 搜索;它也可能接受导致 更糟糕的解决方案,以便它可以从本地逃脱 最小值。

library("NMOF")
sol <- TAopt(mean_size, list(neighbour = neighbour, 
               x0 = x,
               nI = 5000,
               printBar = FALSE,
               printDetail = FALSE),
       df = df, size = size)
sol$OFvalue  ## objective function value of best solution
## [1] -14.8

因此,算法找到的最佳解决方案意味着平均大小为 14.8。 由于阈值接受是一种随机方法,因此我运行了 20 次重新启动。

restarts <- restartOpt(TAopt, n = 20, mean_size,
                       list(neighbour = neighbour,
                            x0 = x,
                            nI = 3000,
                            printDetail = FALSE,
                            printBar = FALSE),
                       df = df, size = size)
summary(sapply(restarts, `[[`, "OFvalue"))
##   Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
## -14.80  -14.80  -14.80  -13.18  -10.50  -10.00

NMOF的开发版 (https://github.com/enricoschumann/NMOF),可以设置 一个选项drop0TRUE。 (对于 CRAN 版本,这会引发 关于unknown option 的警告,但这是无害的。)这应该 提高解决方案的可靠性。

restarts <- restartOpt(TAopt, n = 20, mean_size,
                       list(neighbour = neighbour,
                            x0 = x,
                            nI = 3000,
                            drop0 = TRUE,
                            printDetail = FALSE,
                            printBar = FALSE),
                       df = df, size = size)
summary(sapply(restarts, `[[`, "OFvalue"))
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##  -14.80  -14.80  -14.80  -14.77  -14.80  -14.60 

不过,有些解决方案可能比其他解决方案更好。有 优化搜索的不同方法,但最简单 方法是运行该方法 10 次,例如,并保持 最佳解决方案。

best <- restartOpt(TAopt, n = 10, mean_size,
                   list(neighbour = neighbour,
                        x0 = x,
                        nI = 1000,
                        printDetail = FALSE,
                        printBar = FALSE),
                   df = df, size = size,
                   best.only = TRUE)
best$OFvalue
## [1] -14.8

那么让我们看看实际的解决方案。

best$xbest

## $functions
## $functions[[1]]
## function(x, ...) TRUE
## 
## $functions[[2]]
## function (e1, e2)  .Primitive("<")
## 
## $functions[[3]]
## function (e1, e2)  .Primitive(">")
## 
## $functions[[4]]
## function(x, ...) TRUE
## 
## 
## $parameters
## [1] -7.5  0.0  0.5  5.0

因此,这将转换为以下过滤器:

i <- df[[2]] < 0 & df[[3]] > 0.5

查看隐含平均值size

cbind(size[i], df[i, ])
##   size[i]  A  B D  E
## 2       5 -4 -1 1  4
## 3      10 -2 -3 1  9
## 5       2  4 -1 3 -2
## 6      55  8 -7 9  0
## 8       2  0 -2 1  8


mean(size[i])
## [1] 14.8

正如我所说,只是一个草图;但也许它会让你开始。

【讨论】:

  • 真实数据在-0.1和0.1的范围内,所以我调整了:neighbor 0.005) { x$functions[[i]]
  • 首先,非常感谢您提供的出色方法(我想我会得到您的书,因为您似乎完全实现了我在 R 中需要的东西)。我试图将您的方法应用于具有 2000 行的真实数据集。为了优化搜索,我必须更改哪些参数?我增加了 nI 但我还能做什么? n 必须有多大?谢谢!!!!
  • 谢谢。关于第一条评论:如果我理解正确,您只需要更改邻域函数可以应用于过滤器阈值的步骤。我已经更新了答案:邻域函数中现在有一个变量stepsize,算法将从 +/- 这个步长进行采样。 rand &gt; 0.5 仅表示“掷硬币:如果是正面,则更改过滤功能;如果是反面,则更改阈值”。
  • 关于第二条评论:这主要不是关于增加迭代次数 (nI),尽管这对于更大的问题规模可能是必要的。但是考虑到这里问题的规模,算法的性能应该比它好得多;它经常陷入局部最小值。解决此问题的最简单方法是使用多次重新启动,然后保留最好的一次,如答案中所建议的那样。改进单次运行的预期结果将需要更多分析(通常是小型实验),从阈值序列开始。你能发布一个更大的数据集吗?
  • 非常感谢您的改编,现在更容易了。此外,代码在适应您的建议后确实会产生非常好的解决方案。如果我想做相反的事情并计算最小平均尺寸。我必须适应哪个代码部分以及如何适应?当然,我可以将数据发送给您,但我是 stockoverflow 的新手,我不确定如何将数据发送给您。你知道它通常是怎么做的吗?再次感谢您,这太棒了。
猜你喜欢
  • 2018-09-30
  • 1970-01-01
  • 2019-11-30
  • 1970-01-01
  • 2019-03-17
  • 1970-01-01
  • 1970-01-01
  • 2016-12-20
  • 2018-03-24
相关资源
最近更新 更多