【f-GAN】f-GAN：Training Generative Neural Samplers using Variational Divergence Minimization

1. f-divergence

用f-divergence来衡量两个分布得不同
【f-GAN】f-GAN：Training Generative Neural Samplers using Variational Divergence Minimization
不同的f(x)对应不同的divergence

用f(x)得Fenchel Conjugate将f(x)表示出来再带入D
令D(x)代替t，即输入为x输出为t=D(x),得到初始的f-divergence，此时是f-divergence得lower bound
【f-GAN】f-GAN：Training Generative Neural Samplers using Variational Divergence Minimization
接下来就是要找一个最好的D，来近似f-divergence
最后找一个G，使得f-divergence最小

各种不同得f(x)得到的divergence

那么如何变成原始的GAN呢？

令D得输出**函数为sigmoid函数，之后取log就得到原始GAN得loss fuction的第一项：
【f-GAN】f-GAN：Training Generative Neural Samplers using Variational Divergence Minimization
对应于第一个表格得倒数第二行和第二个表格的倒数第三行。他这里只不过用的是负对数

然后将f*(t)中的t用gf代替就得到原始GAN得loss fuction的第二项：
【f-GAN】f-GAN：Training Generative Neural Samplers using Variational Divergence Minimization