向诸位朋友请教 auc_precision_recall 相关的问题

查看全部 · 发表在 2018-4-24 09:29:57

快来加入 TensorFlowers 大家庭！

您需要登录才可以下载或查看，没有帐号？加入社区

x

诸位朋友们大家好，这是一位网友在 Telegram 上的提问，但是我还没有办法为他解答，不知道大家能否指导和解答一下？

does any one have experience on training binary classifier with skewed dataset?
what's the relationship between tensorflow auc_precision_recall plot and a standard precision-recall plot?

let's say a tensorflow auc_precision_recall like this.
does the highest value is the optimal one?

感谢大家！

M丶Sulayman已获得悬赏 10 金币+5 金币

最佳答案

这是受试者曲线的一个方面的反映，即recall是将正样本中的样本预测为对时所占比例，越高，只能说明模型对正样本预测精准度提高，而并非模型整体精度提高。这是相对而言的，我在做信贷风险预测的模型，所以我的重点关 ...

M丶Sulayman
发表于2018-04-24
详细答案 >

M丶Sulayman · 发表于 2018-4-24 17:36:27

这是受试者曲线的一个方面的反映，即recall是将正样本中的样本预测为对时所占比例，越高，只能说明模型对正样本预测精准度提高，而并非模型整体精度提高。这是相对而言的，我在做信贷风险预测的模型，所以我的重点关注只在如何提升将违约样本的预测精准度提高。所以这曲线只能反映一方面的精准度，也许提升的过程中牺牲了负样本预测精准度。说的有点啰嗦，希望对你有用。

dong · 发表于 2018-4-24 20:40:42

M丶Sulayman 发表于 2018-4-24 17:36
这是受试者曲线的一个方面的反映，即recall是将正样本中的样本预测为对时所占比例，越高，只能说明模型对正 ...

非常感谢你的解答！

rz828 · 发表于 2018-4-24 21:20:39

M丶Sulayman 发表于 2018-4-24 17:36
这是受试者曲线的一个方面的反映，即recall是将正样本中的样本预测为对时所占比例，越高，只能说明模型对正 ...

我知道这是同样的数据的不同表现形式，即同样的数据我们可以画出一个AUC曲线图，也可以画出一个precision recall的曲线图。
这个问题里面的图片是来自tensorboard的一个曲线图，这个图片的y轴值是0~1的区间，而x轴是训练次数。
那么，我的问题是：比如当训练次数x为300k的时候，所对应的一个y值假如为0.02，那么怎么理解这个y值0.02？这个0.02和一个标准precision recall曲线图(标准precision recall曲线图中：y轴为0~1的precision值，x轴为0~1的recall值)中的值有关系吗？如果有关系，那么是和标准precision recall曲线图的y轴值意义相同(即此0.02为precision值)？还是和标准precision recall曲线图x轴意义相同(即此0.02为recall值)？

M丶Sulayman · 发表于 2018-4-25 09:50:15

rz828 发表于 2018-4-24 21:20
我知道这是同样的数据的不同表现形式，即同样的数据我们可以画出一个AUC曲线图，也可以画出一个precision ...

赞一个，这个问题不错，我昨天也在考虑，这个Y轴所代表的含义是否直接对应于我们所说的混淆矩阵相关计算公式所得的recall还是什么。因为跑出来的数值实在有点低啊，我都怀疑这Y轴是不是代表的1- recall或者损失什么的，我还没用过TF的AUC的相关计算。

yunhai_luo · 发表于 2018-4-25 17:02:50

rz828 发表于 2018-4-24 21:20
我知道这是同样的数据的不同表现形式，即同样的数据我们可以画出一个AUC曲线图，也可以画出一个precision ...

一条precision recall的曲线对应的是一个模型，曲线上的点对应同一模型应用不同阀值，而这样一条曲线给出一个AUC值，这个值是评价模型好坏的参考之一。在模型训练过程中，每一次训练都给出了一个备选的模型，而这样的一个模型就对应了一条PR曲线和一个AUC_PR值。再以训练次数为x轴，就画出了楼主tensorboard中的曲线。这个图中的一个y值对应的是相应x训练步骤时那个模型的好坏，它与PR曲线中数值的关系在于它是对那个模型的PR曲线的一种”总结“，而整条tensorboard曲线反映了随着训练进程，模型好坏的变化（再强调一下，只是评价模型好坏的参考之一）。说到”理解“、”含义“，据我所知，AUC_PR值似乎没有特别直观的类似AUC_ROC那样的概率解释，我所说的或者是能说的只是一种定性的理解。