画ROC曲线的R包总结

浏览: 3004

作者: Joseph Rickert
原文链接:
https://rviews.rstudio.com/2019/03/01/some-r-packages-for-roc-curves/

在这篇文章中,我将描述如何在CRAN中搜索绘制ROC曲线的包,并强调六个有用的包。

虽然一开始我有一些想谈论的包的想法,像ROCR和pROC,我发现它们在过去是有用的,但我决定使用Gabor Csardi相对较新的包pkgsearch来搜索CRAN,看看那里有什么。package_search()函数的作用是:将文本字符串作为输入,并使用基本的文本挖掘技术搜索所有CRAN。该算法搜索包文本字段,并为它找到的每个包生成一个分数,该分数由反向依赖项和下载的数量加权。

1library(tidyverse)  # for data manipulation
2library(dlstats)    # for package download stats
3library(pkgsearch)  # for searching packages

经过一些尝试和错误之后,我决定使用以下查询,其中包括一些有趣的与roc相关的包。

1rocPkg <-  pkg_search(query="ROC",size=200)
2

然后,通过过滤掉孤立包和得分不超过190的包,我将rocPkg缩小到46个包。

1rocPkgShort <- rocPkg %>% 
2               filter(maintainer_name != "ORPHANED", score > 190) %>%
3               select(score, package, downloads_last_month) %>%
4               arrange(desc(downloads_last_month))
5head(rocPkgShort)

为了完成选择过程,我做了大量的工作,浏览了软件包的文档,从中挑选出我认为对大多数数据科学家通常有用的东西。下面的图使用Guangchuang Yu的dlstats包查看我选择配置的六个包的下载历史。

1library(dlstats)
2shortList <- c("pROC","precrec","ROCit""PRROC","ROCR","plotROC")
3downloads <- cran_stats(shortList)
4ggplot(downloads, aes(end, downloads, group=package, color=package)) +
5  geom_line() + geom_point(aes(shape=package)) +
6  scale_y_continuous(trans = 'log2')

ROCR - 2005

ROCR已经存在了近14年,是绘制ROC曲线的一个坚如磐石的工具。我特别喜欢performance()函数通过输入真阳性率tpr和假阳性率fpr和参数来设置曲线的计算方法。这不仅具有令人放心的透明性,还显示了通过输入适当的参数来计算二进制分类器的几乎所有性能度量的灵活性。例如,要生成precision-recall曲线,您需要输入precrec。虽然没有vignette,但包的文档非常好。

下面的代码使用包附带的合成数据集并绘制默认的ROCR ROC曲线。在本文中,我将使用相同的数据集。

 1library(ROCR)
2## Loading required package: gplots
3## 
4## Attaching package: 'gplots'
5## The following object is masked from 'package:stats':
6## 
7##     lowess
8# plot a ROC curve for a single prediction run
9# and color the curve according to cutoff.
10data(ROCR.simple)
11df <- data.frame(ROCR.simple)
12pred <- prediction(df$predictions, df$labels)
13perf <- performance(pred,"tpr","fpr")
14plot(perf,colorize=TRUE)

pROC - 2010

从下载曲线可以明显看出,pROC也很受数据科学家的欢迎。我喜欢它是因为很容易得到AUC的置信区间。

 1library(pROC)
2## Type 'citation("pROC")' for a citation.
3## 
4## Attaching package: 'pROC'
5## The following objects are masked from 'package:stats':
6## 
7##     cov, smooth, var
8pROC_obj <- roc(df$labels,df$predictions,
9            smoothed = TRUE,
10            # arguments for ci
11            ci=TRUE, ci.alpha=0.9, stratified=FALSE,
12            # arguments for plot
13            plot=TRUE, auc.polygon=TRUE, max.auc.polygon=TRUE, grid=TRUE,
14            print.auc=TRUE, show.thres=TRUE)
15
16
17sens.ci <- ci.se(pROC_obj)
18plot(sens.ci, type="shape", col="lightblue")
19## Warning in plot.ci.se(sens.ci, type = "shape", col = "lightblue"): Low
20## definition shape.
21plot(sens.ci, type="bars")

PRROC - 2014

虽然不像ROCRpROC那么受欢迎,但PRROC最近似乎又卷土重来了。输入的术语有点折衷,但是一旦您理解了ROC.curve()函数,就可以轻松地绘制出一条干净的ROC曲线。正如vignette所指示,PRROC的创建实际上是为了做precision-recall曲线。

1library(PRROC)
2
3PRROC_obj <- roc.curve(scores.class0 = df$predictions, weights.class0=df$labels,
4                       curve=TRUE)
5plot(PRROC_obj)

plotROC - 2014

plotROC是使用ggplot()绘制ROC曲线的理想选择。我的猜测是,它似乎只受到有限的欢迎,因为文档使用了医学术语,如“疾病状态”和“标记”。尽管如此,文档(包括a vignette and a Shiny application)非常好。

该包提供了许多功能丰富的ggplot()几何,可以生成复杂的图形。下面的图包含一些样式,包括Clopper和Pearson(1934)精确的方法置信区间。

1library(plotROC)
2rocplot <- ggplot(dfaes(m = predictions, d = labels))+ geom_roc(n.cuts=20,labels=FALSE)
3rocplot + style_roc(theme = theme_grey) + geom_rocci(fill="pink"
4

precrec - 2015

precrec是另一个绘制ROC和precision-recall曲线的库。

1library(precrec)
2#
3## Attaching package: 'precrec'
4## The following object is masked from 'package:pROC':
5#
6##     auc
7precrec_obj <- evalmod(scores = df$predictions, labels = df$labels)
8autoplot(precrec_obj)

evalmod()函数的参数选项使生成各种模型特性的基本图变得很容易。

1precrec_obj2 <- evalmod(scores = df$predictions, labels = df$labels, mode="basic")
2autoplot(precrec_obj2)   

ROCit - 2019

ROCit是一种用于绘制ROC曲线和其他二元分类可视化的新工具,它在1月份迅速蹿红,并继续流行。如果我通过下载自动过滤原始搜索,就永远不会发现它。默认的图包括Yourden’s J Statistic数据的位置。

1library(ROCit)
2## Warning: package 'ROCit' was built under R version 3.5.2
3ROCit_obj <- rocit(score=df$predictions,class=df$labels)
4plot(ROCit_obj)

其他一些可视化是可能的。下图显示了正面和负面反应的累积密度。KS统计量显示了两条曲线之间的最大距离。

1ksplot(ROCit_obj)

在本文中,我试图深入研究CRAN并揭示R所包含的用于绘制ROC曲线和其他二进制分类器可视化的一些资源,但我只触及了皮毛。此外,我故意忽略了许多用于特殊应用程序的包,例如从审查生存数据计算时间相关的ROC曲线的survivalROC,以及包含评估交叉验证的AUC措施的功能的cvAUC。不过,我希望这个小练习能帮助您找到您要找的东西。

往期精彩

推荐 0
本文由 R语言中文社区 创作,采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。
转载、引用前需联系作者,并署名作者且注明文章出处。
本站文章版权归原作者及原出处所有 。内容为作者个人观点, 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台,并不用于任何商业目的,如果有任何问题,请及时联系我们,我们将根据著作权人的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。

0 个评论

要回复文章请先登录注册