【问题标题】:Hyperparameter Optimization Sampling超参数优化采样
【发布时间】:2021-06-08 09:02:59
【问题描述】:

我希望你能用你的专业知识和广博的知识帮助我解决一个问题,我会尽量清楚地表达 :) 我有一个问题,据我所知,应该是也出现在 AutoML 方法中。

上下文: 对于一个对象,我可以计算 n 个(在我的情况下为 9)个确定派生特征的特征。一个随机示例是图像(对象)及其特征,例如,它的压缩程度、对比度分数或可以找到多少边缘等。 到目前为止一切都很好,但现在维度不一定是不相关/线性独立的。这可能意味着一个维度的高值可能意味着另一个维度的高值或低值或限制值范围。说明性示例:压缩效果不佳的图像很可能在颜色或渐变方面显示出很大的差异。 (我完全是在编造这个)

问题:现在想象我想“学习”一个对象生成器,它可以根据(派生的)高清特征空间中的位置为我生成所有这些对象时间>。旁注,这个问题是不是哪个 ML 模型(GAN、变分自动编码器或其他一些 AI 模型,你可以命名它)可以用于这个问题。我的挑战是确保我已经为 AI 模型学习步骤“捕获”了整个功能特征空间。 但是,如果我什至不清楚维度之间的函数依赖关系如何,我怎么能确定我已经对空间进行了采样(足够)? 最重要的是,即使我有维度之间的相关分数,哪个疯狂的数学优化器将此作为输入来告诉我 HD 空间“看起来如何”?

对这个问题的相当模糊的数学描述是我有一个 n 维特征空间,其维度不构成标准正交基。因此,维度不是(必然)线性独立的,并且它们的依赖关系不能轻易/完全导出。我如何(通过实验)确定可能的解决方案空间?哪个数学问题有(至少一些)相似之处?哪个数学、ML、AI 子学科可以处理这类问题?

还有一件事:我不期望任何形式的成熟解决方案,而只是指针。

非常感谢!!!!

【问题讨论】:

    标签: sampling automl


    【解决方案1】:

    你考虑过维度缩减吗?如果它是您特别感兴趣的线性关系,您可以考虑特征值分解(或主成分分析,如果您更喜欢该术语)。这可能有助于识别特征空间的可达子空间。

    还存在更先进的降维方法,它们也能够处理特征之间的非线性依赖关系。一个例子是使用自动编码器 ANN。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2018-10-17
      • 2020-07-31
      • 1970-01-01
      • 2019-05-03
      相关资源
      最近更新 更多