Kappa检测方法

kappa检测方法

• 评价相关性的一种指标
• 注意只能计算离散值，不能计算回归问题，如果计算回归问题，必须将值进行离散化
• 这个评价指标经常用在作文评分当中，用来评价机器评分与专家评分的一致性

Simple Kappa Coefficient（简单kappa系数）

• Clinician 1看做真实分布，Clinician2看做预测分布
• 实际一致率与随机一致率是否有显著的差别
  $$Kappa=\frac{P_o-P_e}{1-P_e};P_o=\frac{a+d}{n};P_e=\frac{(a+b)(a+c)+(c+d)(b+d)}{n^2}$$，其中$P_o$实际一致率，$P_e$理论一致率
• $P_0$比较容易理解，$P_e$我们可以拆成$\frac{a+b}{n}\ast \frac{a+c}{n}+\frac{c+d}{n}\ast \frac{b+d}{n}$
  • 其中$\frac{a+b}{n}\ast \frac{a+c}{n}$，这个有点类似于交叉熵的概念真实分布概率*预测分布概率

一个3分类的例子：

上表表明：将类别1分为类别1的个数有4个，将类别2分为类别2的有4个，将类别3分为类别2的有4个

• 对角线元素就是分对的数目：$P_o=(4+4+0)/12=2/3$
• 观测一致率：$P_e=\frac{(4+0+0)\ast (4+0+0)}{12^2}+\frac{(0+4+0)\ast (0+4+4)}{12^2}+\frac{(0+4+0)\ast (0+0+0)}{12^2}=1/3$，
  • （为1的行的和 * 为1的列的和） / 样本数目的平方
  • （为2的行的和 * 为2的列的和） / 样本数目的平方
  • （为3的行的和 * 为3的列的和） / 样本数目的平方
• 最终结果：$kappa=\frac{P_o-P_e}{1-P_e}=\frac{2/3-1/3}{1-1/3}=0.5$

Weighted Kappa Coefficient（加权Kappa系数）

$$Kapp{a}_w=\frac{\sum w{f}_o-\sum w{f}_e}{n-\sum w{f}_e}$$

• 为了惩罚分错类别的情况，给不同分错类别的加上不同的权重
• $\sum w{f}_o$: 观察一致性，带权重
• $\sum w{f}_e$: 理论一致性，带权重
• 线性权重 $$linearweight=1-\frac{|i-j|}{k-1}$$, $k$是样本总数, $i,j$是不同的类别
• 平方权重 $$quadraticweight=1-(\frac{i-j}{k-1}{)}^2$$

PCC相关系数

• 皮尔逊相关系数$${\rho }_{X,Y}=\frac{cov(X,Y)}{{\sigma }_X{\sigma }_Y}=\frac{E[(X-u_X)(Y-u_Y)]}{{\sigma }_X{\sigma }_Y}$$

参考资料

• http://blog.sina.com.cn/s/blog_8db50cf70101cffj.html
• https://en.wikipedia.org/wiki/Cohen%27s_kappa