在上一期的内容中，我们介绍了如果想要比较两个疾病模型的预测能力，除了可以绘制两个模型的ROC曲线并计算曲线下面积（AUC）外，还可以用定量的指标来比较新、旧模型预测准确率的改善程度，即净重新分类改善指
在上一期的内容中，我们介绍了如果想要比较两个疾病模型的预测能力，除了可以绘制两个模型的ROC曲线并计算曲线下面积（AUC）外，还可以用定量的指标来比较新、旧模型预测准确率的改善程度，即净重新分类改善指数NRI。
NRI主要用于在设定好的切点水平下，例如某个指标的诊断界值，或高、中、低风险划分的界值等，来判断和比较新、旧模型的预测能力是否有所提高，在实际的临床应用中容易计算，也容易理解。
但是NRI的不足之处在于它只考虑了设定某个切点时的改善情况，不能考察模型的整体改善情况，此时我们就需要用到另一个指标，NRI的孪生兄弟--综合判别改善指数（IntegratedDiscriminationImprovement，IDI）。
综合判别改善指数IDI
IDI是由Pencina等人于2008年提出的，应该说算是一个非常新的判别指标了。由于它考虑了不同切点的情况，可以用来反映模型的整体改善状况，在一定程度上补齐了NRI的短板。同时，虽然AUC也考虑到了不同切点，但是AUC的改善情况在临床中不易解释，IDI也因此弥补了AUC的缺陷，可以形象地展示研究对象被准确重新判别的比例。
因此小咖也建议大家，在进行2个疾病模型比较，或者2个指标诊断效能比较时，除了传统的ROC曲线及其AUC，也可以同时给出NRI和IDI，更加全面多层次的展示模型的改善情况。
IDI计算方法
IDI的计算其实也比较简单，它反映的是两个模型预测概率差距上的变化，因此是基于疾病模型对每个个体的预测概率计算所得。它的计算方法为：
其中Pnew,events、Pold,events表示在患者组中，新模型和旧模型对于每个个体预测疾病发生概率的平均值，两者相减表示预测概率提高的变化量，对于患者来说，预测患病的概率越高，模型越准确，因此差值越大则提示新模型越好。
而Pnew,non-events、Pold,non-events表示在非患者组中，新模型和旧模型对于每个个体预测疾病发生概率的平均值，两者相减表示预测概率减少的量，对于非患者来说，预测患病的概率越低，模型越准确，因此差值越小则提示新模型越好。
最后，将两部分相减即可得到IDI，总体来说IDI越大，则提示新模型预测能力越好。与NRI类似，若IDI>0，则为正改善，说明新模型比旧模型的预测能力有所改善，若IDI<0，则为负改善，新模型预测能力下降，若IDI=0，则认为新模型没有改善。
我们可以通过计算Z统计量，来判断IDI与0相比是否具有统计学显著性，统计量Z近似服从正态分布，公式如下：
其中SEevents为Pnew,events-Pold,events的标准误，首先在患者组，计算新、旧模型对每个个体的预测概率，求得概率的差值，再计算差值的标准误即可。
同理，SEnon-events为Pnew,non-events-Pold,non-events的标准误，是在非患者组，计算新、旧模型对每个个体的预测概率，求得概率的差值，再计算差值的标准误即可。
研究实例
根据上面的公式，我们可以计算出IDI=（78.4%-69.5%）-（34.1%-46.4%）=21.2%（文献中给出对应的P=0.0005），具有统计学显著性，提示在加入了cfDNA后，新模型的整体预测能力有所改善，综合判别的能力提高了21.2%。
注意事项
通过两期的内容，我们介绍了AUC、NRI和IDI这3个指标在判断和比较两个疾病风险模型预测能力中的应用，三者相辅相成，各有不同，最后我们再来总结几点需要注意的地方：
3.如果目前还无法确定明确的划分切点，那么IDI和AUC可能是较好的选择，如果比较关心切点处的改善情况，那么NRI可能是较好的选择。如果结局指标不是二分类变量，而是多分类情况，例如高、中、低风险，那么NRI和IDI可能是更好的选择，AUC则显得较为复杂。