[机器学习算法]定序回归

简介

传统的线性回归模型预测的因变量取值范围为任意实数，在实际应用中我们常常需要对非连续型数据建模，其中一类的典型的数据即是定序数据ordinal data。

一般我们以没有数值意义但是有顺序意义的数据统称为定序数据。最常见的例子就是问卷调查给出的选项：非常满意、满意、一般、不满意、非常不满意就是一类定序数据。定序变量介于连续变量和定类变量之间，是在测量层次上被分为相对次序的不同类别、但并不连续。

使用定序回归的原因

如果对定序变量使用多分类logit模型，那么会无视数据内在的排序从而导致排序信息的缺失，使得统计结果因为遗漏掉排序信息而丧失统计效率。如果使用普通线性回归模型，那么就是将定序变量视为连续变量处理，会导致人为的信息膨胀。因此，针对定序变量，需要采用对应的模型来拟合其两方面的性质，最常用的方法即定序回归模型ordered logit/probit model。

建立模型

当我们评价某产品时，会形成对一个产品的喜好程度，我们将其记为$Z$，它反映了个人对其的标准化评分。而要把对产品的喜好程度转化为问卷上的打分时需要建立一定的判断标准，这一套判断标准由一组阈值$c_k$构成，喜好落在某两个相邻的阈值之间就会给出某个具体的打分（非常满意、满意、一般、不满意、非常不满意中的一个）。具体的对应方式如下所示：
$$scores=\{\begin{array}{l}1,Z<c_1\\ 2,c_1\le Z<c_2\\ 3,c_2\le Z<c_3\\ 4,c_3\le Z<c_4\\ 5,c_4\le Z\end{array}$$
我们假设因变量是通过影响喜好程度来影响消费者打分$scores=1,2,...,5$，而 $Z$ 是一个取任意值的连续性变量。我们可以用普通线性回归模型来刻画 $Z$ 与因变量$W$之间的关系：
$$Z={\beta }_0+\beta \ast W+ϵ$$
从而判断分数不超过$k$的概率就是：
P(scores<k)=P(Z≤ck)=P(β0+β∗W+ϵ≤ck)=P(ϵ≤ck−β0−β∗W)=Fϵ(αk−β∗W) \begin{aligned} P(scores < k) &= P(Z \leq c_k) \\ &= P(\beta_0 + \beta * W + \epsilon \leq c_k) \\ &= P(\epsilon \leq c_k -\beta_0 - \beta * W) \\ &= F_{\epsilon}(\alpha_k - \beta * W) \end{aligned} P(scores<k)​=P(Z≤c