Softmax classifier

发布时间:2017-6-29 10:48:08编辑:www.fx114.net 分享查询网我要评论
本篇文章主要介绍了"Softmax classifier",主要涉及到Softmax classifier方面的内容,对于Softmax classifier感兴趣的同学可以参考一下。

Softmax classifier原文链接

SVM是两个常见的分类器之一。另一个比较常见的是Softmax分类器,它具有不同的损失函数。如果你听说过二分类的Logistic回归分类器,那么Softmax分类器就是将其推广到多个类。不同于SVM将 f(xi,W) 的输出结果 (为校准,可能难以解释)作为每个分类的评判标准,Softmax分类器给出了一个稍直观的输出(归一化的类概率),并且也有一个概率解释,我们将在后面介绍。在Softmax分类器中,映射函数f(xi; W)= Wxi保持不变,但是我们现在将这些得分解释为每个类的非归一化对数概率,并用具有以下形式的交叉熵损失代替hinge loss:



L                             i=log(efyijefj)             等价于          Li=fyi+logjefj

我们使用符号fj来表示向量f的第j个元素的分类得分。如前所述,数据集的全部损失是所有训练样例中的Li的平均值加正则化项R(W)。
 函数 fj(z)=ezjkezk    就是损失函数:它需要一个任意实值分数(在z中)的向量 ,并将其压缩到0和1之间的值,向量和为1。 

如果你是第一次看到它softmax函数的完整的交叉熵损失可能看起来很恐怖,但相对容易激发。 

信息理论观。 “真实”分布p与估计分布q之间的交叉熵定义为:         
H(p,q)=xp(x)logq(x
 
因此,Softmax分类器将 预估的分类概率(q = efyi /Σjefj如上所述)和“真实”分布之间的交叉熵最小化,
也就是说,所有概率项在正确类上的分布(即,p = [0,... 1,...,0]在第y位置包含单个1。此外,由于交叉熵可以用
熵和Kullback-Leibler发散来表示为:H(p,q)=H(p)+DKL(p||q) 
并且Δ函数p的熵为零,这也相当于使两个分布之间的KL发散最小化(距离的度量)。
换句话说,交叉熵目标希望预测的所有块,在正确答案中均可以找到。

概率解释。 看着这个表达式,我们看到了:
(yixi;W)=efyijefj
 
可以解释为给定图像xi并由参数化的W的正确标签yi的(归一化)概率。
要看到这一点,请记住,Softmax分类器将输出向量f内的分数 解释为非归一化取对数后的概率。
指定这些数量,给出(非归一化)概率,并且分割执行归一化,使得概率总和为1。
在概率解释中,我们因此将负对数最小化作为正确分类的似然函数,这可以解释为执行最大似然估计(MLE)。
这个观点的一个很好的特点是,现在我们现在也可以将全损失函数中的正则化项R(W)解释为来自
加权矩阵W之前的高斯,其中代替MLE,我们执行最大后验(MAP)
)估计。
我们提到这些解释来帮助你的直观的了解,但这个推导的全部细节超出了本部分的范围。

实际问题:数值稳定。在实践中,由于指数,中间项efyi和Σjefj可能非常大。
分割大数可能在数值上不稳定,所以使用规范化技巧很重要。
请注意,如果我们将分数的顶部和底部乘以常数C并将其变换为指数累加,
我们得到以下(数学上等效的)表达式:


efyijefj=CefyiCjefj=efyi+logCjefj+logC 

       
我们可以自由选择C.这不会改变任何结果,但是我们可以使用这个值来提高计算的数值稳定性。
C的常见选择是设置logC=maxjfj.这里需要指出,我们应该将向量f内的值移位,使得最高值为零。
代码如下:
f = np.array([123, 456, 789]) # example with 3 classes and each having large scores
p = np.exp(f) / np.sum(np.exp(f)) # Bad: Numeric problem, potential blowup

# instead: first shift the values of f so that the highest number is 0:
f -= np.max(f) # f becomes [-666, -333, 0]
p = np.exp(f) / np.sum(np.exp(f)) # safe to do, gives the correct answer

可能混淆命名约定。确切地说,SVM分类器使用hinge损失,有时也称为最大损耗。
Softmax分类器从softmax函数获取其名称,该函数用于将原始分数压缩为归一化的正值,总和为1,从而可以应用交叉熵损失。
特别要注意的是,从技术上来说,谈论“softmax损失”是没有意义的,因为softmax只是挤压功能,但它是一个比较常用的速记。


交叉熵代价函数(cross-entropy cost function)

下面的公式对应一个神经元,多输入单输出:


sorry,翻译完,自己也看不懂了!能力有限。就说说自己的理解吧!
softmax是一个分类器,计算的是某个类别的概率。是logistic regression的一种推广,logistic regression只能用于二分类,而softmax可以用于多分类。

在用caffe做深度学习的时候,用户的最终目的可能就是得到各个类别的概率的似然值,这时候就需要一个softmax层,而不一定要进行softmax-loss操作,
或者用户通过其他方式已经得到了某个概率的似然值,然后要做最大似然估计,此时只需要做softmax-loss,而不需要前面的softmax操作。

 







上一篇:java中关于String的equals()比较
下一篇:SAP 凭证冲销可以使用BAPI_ACC_DOCUMENT_REV_POST或者BDC录制FB08来做

相关文章

关键词: Softmax classifier

相关评论

本站评论功能暂时取消,后续此功能例行通知。

一、不得利用本站危害国家安全、泄露国家秘密,不得侵犯国家社会集体的和公民的合法权益,不得利用本站制作、复制和传播不法有害信息!

二、互相尊重,对自己的言论和行为负责。

好贷网好贷款