想象一下，当mini-batch是真个数据集的时候，是不是就退化成了GradientDescent，这样的话，反而收敛速度慢。你忽略了batch增大导致的计算batch代价变大的问题。如果盲目增大mini-batchsize确实是迭代次数减少了，但是计算时间反而会增加，因为每次计算代价大了。...

对于GAN的研究已经有了一段时间，有以下感觉：1.感觉赶了一个晚班车，新思路很难找到了，再往下研究就需要很深入了2.在图像领域已经有了大量的工作，效果很不错；而在自然语言领域，目前来说效果并不显著(当然目前CV本来发展就领先于NLP)3.接下来会结合实验室的优势，在与强化学习的结合、对话生成、VQA上做进一步研究4.我...

作者：Abraham  转载请标明出处，谢谢！数学分析中的函数列的收敛性是一个很重要的概念。Riemann空间（工科数学分析主要讨论的范围）上描述收敛性的两个概念是逐点收敛与一致收敛。PointwiseConvergenceDefinition.LetDbeasubsetofRandlet{fn}b...