DPO与SimPO深度评测:Index-1.9B模型实战分析与选型指南
1. 技术背景与核心差异
在大型语言模型对齐领域,DPO(Direct Preference Optimization)和SimPO(Simple Preference Optimization)代表了两种截然不同的技术路径。DPO作为早期开创性方法,通过引入参考模型构建策略模型与基准模型的对数概率比作为隐式奖励。而SimPO则大胆摒弃了参考模型的设计,直接采用策略模型生成响应的平均对数概率作为奖励信号。
这两种方法在内存占用上的差异尤为显著。以Index-1.9B模型为例,DPO需要同时加载policy model和reference model两个1.9B参数的模型,显存占用约7.6GB(FP16精度)。而SimPO仅需单个模型,显存需求直接减半至3.8GB。这种差异在资源受限的单卡环境(如RTX 3090)中会成为关键决策因素。
从算法设计角度看,两者的核心区别体现在奖励函数构建上:
| 维度 | DPO | SimPO |
|---|---|---|
| 参考模型需求 | 必需 | 无需 |
| 奖励计算方式 | log(π_θ/π_ref) | mean(log π_θ) |
| 长度偏差处理 | 隐式补偿 | 显式长度归一化 |
| 超参数复杂度 | β(温度系数) | β+γ(目标奖励差额) |
2. 实验设计与基准测试
我们在单卡RTX 3090(24GB显存)环境下搭建了对比测试平台,使用Index-1.9B-Chat作为基础模型,采用相同的训练数据集(包含50

2093

被折叠的 条评论
为什么被折叠?



