【发布时间】：2022-03-16 09:46:38
【问题描述】：
假设我有两个概念类：C1 和 C2。 假设C1的VC维度为d，C2的VC维度为d。
C1和C2并集的VC维度的最大值是多少？
【问题讨论】：
-
取决于分类模型。我们在这里谈论的是感知器还是 SVM（在这种情况下，它取决于内核）？这也闻起来像家庭作业。
标签： computer-science machine-learning
【发布时间】：2022-03-16 09:46:38
【问题描述】：
请参阅 Eisenstat 和 Angluin 的论文“k 折并集的 VC 维度”，其中表明 VC 维度随着 Theta(klogk) 渐近增加。
StompChicken 的答案不可能是正确的，因为它暗示 k-fold union 的 VC 维度是 O(k)。我相信他正确地论证了 d_1+d_2 的下限。
【讨论】：
在下面我将假设您不是要指定 C1 和 C2 具有相同的 VC 维度 d，而是不同的 VC 维度 d1 和 d2。我还将假设（不失一般性）d1 >= d2。
这取决于您所说的“C1 和 C2 的联合”是什么意思。 C1和C2并集形成的概念类的VC维具有VC维d1。这非常简单，因为要粉碎 d1 或更少的点，只需使用 C1 中的东西。但是，根据定义，C1 或 C2 都不会粉碎 d1 + 1 分。
编辑 - 下一段中的论点是错误的，请参阅 HRJ 的回答，了解显然被称为“k-fold union”的真实故事。
既然这很无聊，也许你的意思是概念类 你可以从一个元素的并集形成一个假设 C1 和 C2 的一个元素。这里的 VC 维度是 d1 + d2。查看 这样，将任何 d1+d2 点划分为两个子集并粉碎它们 分别与 C1 和 C2 中的元素。这样做的结果是 也就是说，对于 2D 中的线性分隔符，VC 维度将是 3+3=6，你可以从有一个相当的事实看出这一点 明显的六边形标记，不能被两条线打碎。
不同意HRJ，我认为这甚至不是工会的正确下限。例如，让X = {x1,x2,x3,x4} 和C = {{x1,x3},{x2,x4}} 然后C 可以粉碎任何大小为1 的子集，但不能，例如{x1,x2} 所以C 的VC 维度为1。但是，C 的2 倍联合是C^2={{x1,x3},{x2,x4},{x1,x2,x3,x4}}这仍然是 VC 维度 1。更多的工会最终会得到同样的结果。所以，我认为k-fold union 的下界是d。再说一次，我可能是错的。
【讨论】：
-
概念类 C₁ ∪ C₂ 的 VC 维数可以大于 max(d₁, d₂)。例如取 C₁ = {x ≤ c | c ∈ ℝ} 和 C₂ = {x ≥ c | c∈ℝ}。两者都具有 VC 维数 1，但它们的并集可以使用 {a,b} 的“x ≤ b”、{a} 的“x ≤ a”、“x ≥ b”的概念来粉碎任何两个实数 a
如果 VC(H_1)=d_1 and VC(H_2)=d_2 and d=max(d_1,d_2)，则联合的 VC 的一般界限是 2d+1。请参阅附加的 img，因为我找不到插入乳胶的方法。
【讨论】：