31、数据标注质量控制与模型预测应用

数据标注质量控制与模型预测应用

1. 主观任务中的质量控制方法

在数据标注的主观任务里，可通过增加明确问题来实现更便捷的质量控制。例如，在图 9.7 中，除了主要任务，额外询问消息中是否能看到天空。此问题不像物体类型那样模糊，通常答案明确，要么天空可见，要么不可见。

我们可以借助以下方式检验人们对产品问题的回答是否正确：
- 在部分问题中嵌入已知答案。
- 查看标注者之间的一致性。

这种方法基于一个假设，即简单任务的准确性与主观任务的准确性密切相关。一般来说，问题与相关内容越接近，这种相关性就越强。当主要任务比示例更耗时，如让人总结长篇文章时，增加一个二分类问题的额外成本较低。

2. 机器学习在标注质量控制中的应用

由于数据标注的质量控制策略大多是基于统计的决策过程，因此机器学习在其中大有用武之地。以下介绍三种基于机器学习的质量控制方法，它们均以标注者在真实数据上的表现作为训练数据：
| 方法 | 描述 |
| — | — |
| 将模型预测视为优化任务 | 依据标注者在真实数据上的表现，找出能优化某些损失函数的实际标签的概率分布。 |
| 预测单个标注的正确性 | 构建模型，预测标注者的某个标注是否正确。 |
| 解决标注者意见不一致时的标签置信度 | 这是计算聚合人类标签置信度的最具数学原理的方法，能充分发挥每个标注者的作用。 |

2.1 计算标注置信度作为优化任务

之前我们学习了计算所有标签平均置信度的方法。当标注者的标注置信度不足 100% 时，剩余置信度会分配到未选择的标签上。现在我们可以在此基础上，通过分析所有标