softmax函数的定义为$$softmax(x)=frac{e^{x_i}}{sum_je^{x_j}}ag{1}$$softmax函数的特点有函数值在[0-1]的范围之内所有$softmax(x_i)$相加的总和为1面对一个分类问题，能将输出的$y_i$转换成[0-1]的概率，选择最大概率的$y_i$作为分类结果[...

自信息I表示概率空间中的单一事件或离散随机变量的值相关的信息量的量度。它用信息的单位表示，例如bit、nat或是hart，使用哪个单位取决于在计算中使用的对数的底。如下图：对数以2为底，单位是比特（bit）对数以e为底，单位是纳特（nat）如英语有26个字母，假设在文章中出现的概率相等，每个字母的自信息量（也称作编码长...

小明在学校玩王者荣耀被发现了，爸爸被叫去开家长会，心里悲屈的很，就想法子惩罚小明。到家后，爸爸跟小明说：既然你犯错了，就要接受惩罚，但惩罚的程度就看你聪不聪明了。这样吧，我们俩玩猜球游戏，我拿一个球，你猜球的颜色，我可以回答你任何问题，你每猜一次，不管对错，你就一个星期不能玩王者荣耀，当然，猜对，游戏停止，否则继续猜。...

在Logisticregression二分类问题中，我们可以使用sigmoid函数将输入Wx+b映射到(0,1)区间中，从而得到属于某个类别的概率。将这个问题进行泛化，推广到多分类问题中，我们可以使用softmax函数，对输出的值归一化为概率值这里假设在进入softmax函数之前，已经有模型输出C值，其中C是要预测的类...

关于对信息、熵、信息增益是信息论里的概念，是对数据处理的量化，这几个概念主要是在决策树里用到的概念，因为在利用特征来分类的时候会对特征选取顺序的选择，这几个概念比较抽象，我也花了好长时间去理解(自己认为的理解),废话不多说，接下来开始对这几个概念解释，防止自己忘记的同时，望对其他人有个借鉴的作用，如有错误还请指出。这个...

ref:https://blog.csdn.net/b1055077005/article/details/100152102总结一下加深记忆一般使用交叉熵作为损失函数时，在模型的输出层总会接一个softmax函数，这是为什么呢？交叉熵简介：交叉熵是信息论中的一个重要概念，主要用于度量两个概率分布间的差异性，要理解交叉...

 sigmod交叉熵Sigmod交叉熵实际就是我们所说的对数损失，它是针对二分类任务的损失函数，在神经网络中，一般输出层只有一个结点。假设y为样本标签，_y为全连接网络的输出层的值，那么，这个对数损失定义为PS：这个是可以用极大似然估计推导出来的举例：y=0，_y=0.8，那此时的sigmod交叉熵为1.17...

熵是随机变量不确定性的度量，不确定性越大，熵值就越大；若随机变量退化成定值，熵为0。均匀分布是“最不确定”的分布假设离散随机变量X的概率分布为P(x)，则其熵为：联合熵和条件熵两个随机变量的X，Y的联合分布，可以形成联合熵，用H(X,Y)表示条件熵H(X|Y)=H(X,Y)-H(Y) ...

转自知乎https://www.zhihu.com/question/22178202/answer/223017546本科学的时候是院长教的，当时他说这个东西很有用，也仔细听了没懂什么意思，现在回过头来看，还真有用。信息熵的定义与上述这个热力学的熵，虽然不是一个东西，但是有一定的联系。熵在信息论中代表随机变量不确定度...

交叉熵可在神经网络(机器学习)中作为损失函数，p表示真实标记的分布，q则为训练后的模型的预测标记分布，交叉熵损失函数可以衡量真实分布p与当前训练得到的概率分布q有多么大的差异。相对熵（relativeentropy）就是KL散度（Kullback–Leiblerdivergence），用于衡量两个概率分布之间的差异。对...

原文地址：https://www.jianshu.com/p/75518e6a5c64熵的概念中有信息熵、信息增益、信息增益比、基尼指数，这些统统作为决策树分裂的依据，其中，我们需要知道信息熵与基尼指数的关系。信息熵与基尼指数的关系首先看二者的定义：  将f(x)=−lnx在x=1处进行一阶泰勒展开...

  熵考察的是单个的信息（分布）的期望： H(p)=−∑i=1np(xi)logp(xi) 交叉熵考察的是两个的信息（分布）的期望： H(p,q)=−∑i=1np(xi)logq(xi)...

作者：桂。时间：2017-05-12 12:45:57链接：http://www.cnblogs.com/xingshansi/p/6770062.html 前言主要是最大熵模型（Maximumentropymodel）的学习记录。一、基本性质　　在啥也不知道的时候，没有什么假设以及先验作为支撑，我...

作者：桂。时间：2017-04-13 07:43:03链接：http://www.cnblogs.com/xingshansi/p/6702188.html 声明：欢迎被转载，不过记得注明出处哦~前言前面分析了非负矩阵分解（NMF）的应用，总觉得NMF与谱聚类（Spectralclustering）...

　　最大熵模型与逻辑回归类似，是对数线性分类模型。在损失函数优化过程中，使用和支持向量机类似的凸优化技术。对熵的使用，会想起决策树ID3和C4.5。 1.最大熵模型的定义　　将最大熵原理应用到分类得到最大熵模型。　　用最大熵模型选择一个最好的分类模型。训练集，其中x为n维特征向量，y为类别输出。　　训练集总体...