Profit

作者发现在主流模型中，较笨重的模型(AlexNet、ResNet-18、ResNet-34、ResNet-50)在经过ultra low-bit量化后精度损失较少，但紧凑轻型网络(MobileNet-v1、MobileNet-v2)在经过量化后精度损失很严重。对于这个现象，引起了作者的思考。作者发现在微调过程中，Weight量化后会使Activation的统计信息(statistics)发生变化，如mean和variance会发生变化。如何缓解Activation这样的变化称为值得思考的问题。