本人硕士研究生研究课题：弱监督学习框架下的全卷积神经网络图像语义分割2018年1月16日，学院开题答辩，定下了这个题目。今天是2018年6月10日。到现在，包括中间的寒假，五个月过去了，看一下当下的状况，并无任何进展，当然说的是课题方面。因为答辩之后贪玩的暂时解放心理，因为各种其他事情需要兼顾（我觉得这可能是借口吧），...

 一、正则化介绍问题：为什么要正则化？　　NFL（没有免费的午餐）定理：　　　　没有一种ML算法总是比别的好　　　　好算法和坏算法的期望值相同，甚至最优算法跟随机猜测一样　　　　前提：所有问题等概率出现且同等重要　　　　实际并非如此，具体情况具体分析，把当前问题解决好就行了　　　　不要指望找到放之四海而皆准的...

K-近邻与交叉验证1选取超参数的正确方法是：将原始训练集分为训练集和验证集，我们在验证集上尝试不同的超参数，最后保留表现最好的那个。2如果训练数据量不够，使用交叉验证法，它能帮助我们在选取最优超参数的时候减少噪音。3一旦找到最优的超参数，就让算法以该参数在测试集跑且只跑一次，并根据测试结果评价算法。4最近邻分类器能够在...

主要内容：点估计：　　矩估计　　极大似然估计　　点估计的评判准则区间估计：　　置信区间 符号说明：1参数估计问题2点估计2.1矩估计矩估计法的基本思想是根据大数定律，利用样本矩对总体分布矩进行估计。然后利用总体矩与参数的关系来对参数进行估计。记号：矩估计的基本原理：大数定律例1：两点分布的参数估计例2：正态分...

目录：积分学　　理解积分：无穷求和，体积　　微积分基本定理：牛顿-莱布尼兹公式概率空间　　随机变量与概率：概率密度函数的积分　　条件概率　　共轭分布大数定律和中心极限定理　　随机变量的矩　　切比雪夫不等式　　大数定律　　中心极限定理 数学记号说明： 1 理解积分：无穷求和，体积1.1单变量...

主要内容：极限：　　复习极限记号，无穷大无穷小阶数微分学（尚不讲积分）：　　复习函数求导，泰勒级数逼近　　牛顿法与梯度下降法Jensen不等式 　　复习凸函数，Jensen不等式的证明 一些记号说明： 1极限 通俗语言适合说给对方听，数学记号适合写给对方看，精确描述比较啰嗦但是非...

目录：机器学习基础：　　机器学习的分类与一般思路微积分基础：　　泰勒公式，导数与梯度概率与统计基础：　　概率公式、常见分布、常见统计量线性代数基础：　　矩阵乘法的几何意义  这是一张非常著名的图，请仔细挖掘其信息量。以期它在整体上指引我们的学习。1 机器学习基础1.1机器学习分类有监督学习...

第四章数值计算（numericalcalculation）和第五章机器学习基础下去自己看。 一、深度前馈网络（DeepFeedfarwardNetwork，DFN）概要：DFN：深度前馈网络，或前馈神经网络（FFN）/多层感知机（MLP）目标：近似模拟某函数f y=f(x;θ)　　学习参数θ的值，得...

推荐资源：《线性代数的本质》：Essenceoflinearalgebra视频教程《数学之美》（科普类书籍），吴军系列书籍都不错。易向军《大嘴巴漫谈数据挖掘》，通俗生动，不枯燥。...

写在前面：请务必踏踏实实看书，结合笔记或视频来理解学习，任何技术，啃砖头是最扎实最系统的，为避免知识碎片化，切忌抛却书本的学习！！！ 一什么是深度学习1关于AI：AI系统必须具备从原始数据提取模式的能力——机器学习；算法性能依赖于数据表示（表示学习）；传统机器学习：人工提取特征深度学习：源于并高于传统神经网络...

by南大周志华摘要监督学习技术通过学习大量训练数据来构建预测模型，其中每个训练样本都有其对应的真值输出。尽管现有的技术已经取得了巨大的成功，但值得注意的是，由于数据标注过程的高成本，很多任务很难获得如全部真值标签这样的强监督信息。因此，能够使用弱监督的机器学习技术是可取的。本文综述了弱监督学习的一些研究进展，主要关注三...

发表于2015年这篇《FullyConvolutionalNetworksforSemanticSegmentation》在图像语义分割领域举足轻重。通常CNN网络在卷积层之后会接上若干个全连接层,将卷积层产生的特征图(featuremap)映射成一个固定长度的特征向量。以AlexNet为代表的经典CNN结构适合于图像...

文章给的定义是：数据集的标签是不可靠的，如（x，y），y对于x的标记是不可靠的。这里的不可靠可以是标记不正确，多种标记，标记不充分，局部标记等。在实际应用中的学习问题往往以混合形式出现,如多标记多示例、半监督多标记、弱标记多标记等。针对监督信息不完整或不明确对象的学习问题统称为弱监督学习。弱监督学习可以看做是有多个标记...

开篇粘贴导师的几句话：最近准备趁着几位开题，把神经网络，深度学习方面的内容系统的挖挖。要学习深度学习，多少要了解一下神经网络，神经网络的典型就是BP，而BP本身是很简单的。我们前面就从这几个资料（关于资料，我会在接下来的内容中一一展开）开始吧。一、perception感知器算法先说一下感知器算法。引例：判断一个人是否长...

设计你自己的进度条进度条的设计是一个很多人都知道的故事：同样的耗时，如果不给任何进度提示，只是在完成之后才弹出一个完成消息，中间没有任何动态变化，那么整个过程就会让人等得非常焦急，导致一些人干脆把程序关了了事。如果有进度不断更新，那么对整个过程耗时的心理感受就会远低于实际值，用户也不会郁闷到把程序关了。（你有多少次在银...