本文共 607 字,大约阅读时间需要 2 分钟。
1,基本概念
在机器学习领域,分类的目标是指将具有相似特征的对象聚集。而一个线性分类器则透过特征的线性组合来做出分类决定,以达到此种目的。对象的特征通常被描述为特征值,而在向量中则描述为特征向量。2,线性分类表达式
线性分类器用作图像分类主要有两部分组成:一个是假设函数, 它是原始图像数据到类别的映射。另一个是损失函数,该方法可转化为一个最优化问题,在最优化过程中,将通过更新假设函数的参数值来最小化损失函数值。 表达为矩阵形式如下: x为数据(将三维矩阵转化为一维矩阵(列向量)),W为一系列权重参数(反映了对应数据对结果的影响),f(x,W)为每个类别的得分值(得分值高的类别为当前输入的类别),b为偏置项。 利用权重参数和数据的线性组合,完成线性分类: 3,损失函数一个例子(利用简单的标准评价当前的损失):
sj代表错误的得分值,syi代表正确的得分值,1为错误容忍度,损失函数值较大表示分类效果不好。
损失函数的表达式(模型的评价指标,N为样本个数): 对于相同的数据,不同的模型,得到的得分值可能相同,如对于上式如果有以下两个模型: 可以计算得到f(x,w)=1。而对于1号模型只关注局部值易产生过拟合现象。为了解决上述问题,引入正则化惩罚项。4,正则化惩罚项
在原有的损失函数的基础上加上正则化惩罚项:
对于L2正则化惩罚项: 通过惩罚项的计算可知,对于2号模型的惩罚较小,即认为2号模型较好转载地址:http://gahwi.baihongyu.com/