建模之常见损失函数（Keras, Sklearn, R）-白红宇的个人博客

发布日期：2022-02-14 23:02:55 浏览次数：27 分类：技术文章

本文共 5157 字，大约阅读时间需要 17 分钟。

序号	概况	表达式	场景
1	交叉熵	$q)=\sum_x(p(x) \times \text{log}(\frac{1}{q(x)})) = \int_x P(x) \times \text{log}(Q(x))\mathrm{d}x$ $-\text{log}(p(y\mid\hat{y})) = -(y \times \text{log}(\hat{p}) + (1 - y) \times \text{log}(1 - \hat{p}))$	分类	sklearn.metrics.log_loss	keras.losses.BinaryCrossentropy(class) keras.losses.binary_crossentropy(function) binary_crossentropy	LogLoss
2			多分类：`one-hot`	同上	keras.losses.CategoricalCrossentropy(class) keras.losses.categorical_crossentropy(function) categorical_crossentropy	MultiLogLoss
3				同上	keras.losses.SparseCategoricalCrossentropy(class) keras.losses.sparse_categorical_crossentropy(function) sparse_categorical_crossentropy
4		keras： $\text{loss} = \hat{y} - y \times \text{log}(\hat{y})$ Sklearn: $\text{loss} = \overline{2 \times (y \times \text{log}(\frac{y}{\hat{y}}) + \hat{y} - y)}$ 。注意0的替换	回归	sklearn.metrics.mean_poisson_deviance	keras.losses.Poisson(class) keras.losses.poisson(funtion) poisson	Poisson_LogLoss
5		$\text{loss} = \sum(y \times \text{log}(\frac{y}{\hat{y}}))$ 。按列求和(axis=1)，再均值			keras.losses.KLDivergence(class) keras.losses.kl_divergence(function) kl_divergence
6	mse	$\text{loss} = \overline{(\hat{y} - y)^2}$	回归	sklearn.metrics.mean_squared_error	keras.losses.MeanSquaredError keras.losses.mean_squared_error mean_squared_error keras.losses.MSE keras.losses.mse	MSE，RMSE
7	mae	$\text{loss} = \overline{\mid\hat{y} - y\mid}$	回归	sklearn.metrics.mean_absolute_error	keras.losses.MeanAbsoluteError keras.losses.mean_absolute_error mean_absolute_error keras.losses.MAE keras.losses.mae	MAE
8	mape	$\text{loss} = \overline{\frac{\mid\hat{y} - y\mid}{y}}$	时间序列		keras.losses.MeanAbsolutePercentageError keras.losses.mean_absolute_percentage_error mean_absolute_percentage_error keras.losses.MAPE keras.losses.mape	MAPE
9	msle	$\text{loss} = \overline{(\text{log}(y + 1) - \text{log}(\hat{y} + 1))^2}$	回归	sklearn.metrics.mean_squared_log_error	keras.losses.MeanSquaredLogarithmicError keras.losses.mean_squared_logarithmic_error mean_squared_logarithmic_error keras.losses.MSLE keras.losses.msle	RMSLE
10		公式： $\cdot B = \parallel A \parallel \times \parallel B \parallel \times \cos(\theta)$ sklearn：标准公式 keras： $-\sum(\text{l2norm}(\hat{y}) * \text{l2norm}(y))$		sklearn.metrics.pairwise.cosine_similarity	keras.losses.CosineSimilarity keras.losses.cosine_similarity cosine_similarity
11		$\mid err \mid \le \delta:：0.5 * err ^2(\text{mse})$ $\mid err \mid \gt \delta：0.5 * \delta^2 + \delta * (\mid err \mid - \delta)$ 说明：上式是针对每个err，若err是个矩阵，则对每个err计算后再平均			keras.losses.Huber(delta=1.0) keras.losses.huber huber_loss
12	双曲余弦对数损失	$\overline{\text{log}(\frac{e^{\hat{y} - y} + e^{-1 \times (\hat{y} - y)}}{2})}$			keras.losses.LogCosh keras.losses.log_cosh log_cosh
13		$\overline{\text{maximum}(1 - 1 - \hat{y} \times y, 0)}$ 。说明：此 $\hat{y}$ 为 $[- 1, 1]$	分类，最大间隔	sklearn.metrics.hinge_loss	keras.losses.Hinge keras.losses.hinge hinge
14		$\overline{(\text{maximum}(1 - 1 - \hat{y} \times y, 0))^2}$ 。说明：此 $\hat{y}$ 为 $[- 1, 1]$	最大间隔		keras.losses.SquaredHinge keras.losses.squared_hinge squared_hinge
15		$\overline{\text{maximum}(\text{max}((1 - y) \times \hat{y}) - \sum(y \times \hat{y}) + 1, 0)}$	最大间隔		keras.losses.CategoricalHinge keras.losses.categorical_hinge categorical_hinge
16	Hamming loss	同0-1分类的True	分类	sklearn.metrics.hamming_loss
17	0-1分类	normalize=True：返回分类失败的个数 normalize=False：返回分类失败的占比	分类	sklearn.metrics.zero_one_loss(normalize=True)		ZeroOneLoss
18		$\overline{2 \times (\text{log}{\frac{\hat{y}}{y}} + \frac{y}{\hat{y}} - 1)}$ 。注意0的替换	回归	sklearn.metrics.mean_gamma_deviance
19		p=0：mse p=1：poisson(见上面) p=2：gamma(见上面) p=other： $\overline{2 \times (\frac{max(y, 0)^{2 - p}}{(1 - p) \times (2 - p)} - \frac{y \times \hat{y}^{1 - p}}{1 - p} + \frac{\hat{y}^{2 - p}}{2 - p})}$	回归	sklearn.metrics.mean_tweedie_deviance(power=p)
20	分类排名		分类排名	sklearn.metrics.label_ranking_loss

转载地址：https://blog.csdn.net/fish2009122/article/details/108020996 如侵犯您的版权，请留言回复原文章的地址，我们会给您删除此文章，给您带来不便请您谅解！

上一篇：docker-compose资源限制&docker资源监控

下一篇：假设检验小结

发表评论

关于作者

喝酒易醉，品茶养心，人生如梦，品茶悟道，何以解忧？唯有杜康！

-- 愿君每日到此一游！

发表评论

最新留言

关于作者

推荐文章