【AI初识境】深度学习中常用的沙巴体育登录有哪些?

我们可以从两个角度来理解这一点:第一个角度是直观地理解,下图是MAE和MSE损失画到同一张图里面,由于MAE损失与绝对误差之间是线性关系,MSE损失与误差是平方关系,当误差非常大的时候,MSE损失会远远大于MAE损失。

假设期末考试有三种情况:1.优秀,标签值OneHot编码为\\\\(1,0,0\\\\)2.及格,标签值OneHot编码为\\\\(0,1,0\\\\)3.不及格,标签值OneHot编码为\\\\(0,0,1\\\\)假设我们预测学员丙的成绩为优秀、及格、不及格的概率为:\\\\(0.2,0.5,0.3\\\\),而真实情况是该学员不及格,则得到的交叉熵是:\\\\loss_1=-(0\\times\\ln0.2+0\\times\\ln0.5+1\\times\\ln0.3)=1.2\\\\假设我们预测学员丁的成绩为优秀、及格、不及格的概率为:\\\\(0.2,0.2,0.6\\\\),而真实情况是该学员不及格,则得到的交叉熵是:\\\\loss_2=-(0\\times\\ln0.2+0\\times\\ln0.2+1\\times\\ln0.6)=0.51\\\\可以看到,0.51比1.2的损失值小很多,这说明预测值越接近真实标签值(0.6vs0.3),交叉熵沙巴体育登录值越小,反向传播的力度越小。

**人脸识别方向的沙巴体育登录****3.1softmax沙巴体育登录**数学公式:其中N为batchsize的样本数量,n表示类别数目,j表示样本第j个类别的得分。

最小二乘的基本原则是:最优拟合直线应该是使各点到回归直线的距离和最小的直线,即平方和最小。

γ的取值通常在0-1之间,图中描述了不同分位数下的沙巴体育登录情况,明显可以看到对于正负误差不平衡的状态。

,”

**17负对数似然损失NLLLoss**负对数似然损失.用于训练C个类别的分类问题.torch.nn.NLLLoss(weight=None,ignore_index=-100,reduction=mean)参数:>weight(Tensor,optional)–自定义的每个类别的权重.必须是一个长度为C的Tensor>>ignore_index(int,optional)–设置一个目标值,该目标值会被忽略,从而不会影响到输入的梯度.**18NLLLoss2d**对于图片输入的负对数似然损失.它计算每个像素的负对数似然损失.torch.nn.NLLLoss2d(weight=None,ignore_index=-100,reduction=mean)参数:>weight(Tensor,optional)–自定义的每个类别的权重.必须是一个长度为C的Tensor>>reduction-三个值,none:不使用约简;mean:返回loss和的平均值;sum:返回loss的和。

随着服务偏离目标值,损失会递增。

**通常用来作为回归算法的性能指标**。

(https://imgconvert.csdnimg.cn/aHR0cDovL3d3dy5jc3VsZHcuY29tL2Fzc2V0cy9hcnRpY2xlSW1nLzRERkRVLnBuZw)OK,暂时先写到这里,休息下。

-1沙巴体育登录(goldstandard)公式:

理解:一般用于分类问题,预测值和目标值不相等为1,否则为0;不考虑预测值和真实值的误差程度,也就是说只要预测错误,预测错误多和少都是相同的。

我们都知道正态分布最开始是被高斯最先提出来的,他提出来的思路是什么?虽然细节上可能会有差别,但是大体上他就是做了类似的思考,也就是认为最小二乘法和极大似然估计法应该殊途同归,然后计算得出了正态分布的表达式。

http://www.cnblogs.com/rocketfan/p/4083821.html1.LossFunction沙巴体育登录可以看做误差部分(lossterm)+正则化部分(regularizationterm)

1.1LossTerm*GoldStandard(idealcase)*Hinge(SVM,softmargin)*Log(logisticregression,crossentropyerror)*Squaredloss(linearregression)*Exponentialloss(Boosting)GoldStandard又被称为0-1loss,记录分类错误的次数

HingeLosshttp://en.wikipedia.org/wiki/Hinge_lossForanintendedoutputt=±1andaclassifierscorey,thehingelossofthepredictionyisdefinedas

Notethatyshouldbethe”raw”outputoftheclassifier\sdecisionfunction,notthepredictedclasslabel.E.g.,inlinearSVMs,

Itcanbeseenthatwhentandyhavethesamesign(meaningypredictstherightclass)and

,thehingeloss

,butwhentheyhaveoppositesign,

increaseslinearlywithy(one-sidederror).来自

Plotofhingeloss(blue)vs.zero-oneloss(misclassification,green:y<0)fort=1andvariabley.Notethatthehingelosspenalizespredictionsy<1,correspondingtothenotionofamargininasupportvectormachine.来自

在Pegasos:PrimalEstimatedsub-GrAdientSOlverforSVM论文中

这里把第一部分看成正规化部分,第二部分看成误差部分,注意对比ng关于svm的课件不考虑规则化

考虑规则化

LogLossNg的课件1,先是讲linearregression然后引出最小二乘误差,之后概率角度高斯分布解释最小误差。

它具有Huber损失的所有优点,并且在任何地方都可微分两次,这与Huber损失不同,因为像XGBoost之类的某些学习算法使用牛顿法来找到最优值,因此需要二阶导数(_Hessian_。

上面的公式把错误类别(j≠yi)(j≠yi)都遍历一遍,求值加和。

在多分类任务中,经常采用softmax激活函数+交叉熵沙巴体育登录,因为交叉熵描述了两个概率分布的差异,然而神经网络输出的是向量,并不是概率分布的形式。

,”

torch.nn.CTCLoss(blank=0,reduction=mean)参数:>reduction-三个值,none:不使用约简;mean:返回loss和的平均值;sum:返回loss的和。

由于YOLOv5s与YOLOv5s(CIoU)的αmAP1曲线在训练过程中变化波动较大,且检测精度较低,说明YOLOv5s对煤矸石分类来说效果一般,而图中YOLOv5m(CIoU)网络训练10个循环后即可稳定在0.92左右的效果,且相对于YOLOv5m在精确度上有提升,达到优化效果,使用YOLOv5m(CIoU)对煤矸石进行目标检测,可保证识别精度,达到预期效果。

考虑对煤矸石分选准确率及速度等多方面因素,笔者选用YOLOv5网络检测煤矸石,优化YOLOv5网络结构检测识别煤矸石。

****0,1沙巴体育登录L(Y,f(x))=exp-Y_if(x_i)L(Yi\u200b,f(xi\u200b))=N1\u200bi=1∑N\u200bexp−Yi\u200bf(xi\u200b)当从单个样本扩大到N个样本时,上式即为Adaboost的沙巴体育登录

\\.交叉熵沙巴体育登录,表示的是两个概率分布之间的距离,值越小,两个概率分布之间的距离值越近。