本文探讨了量化研究中数据清洗的重要环节——处理数据缺失值。介绍了缺失值的概念及其对模型影响，列举了填充和删除两种常见处理方法，并针对未定义数据和无交易数据的特殊情况提出了处理建议，强调在清洗时应尽可能保持数据原始逻辑并尝试多种策略寻找最佳方案。
上一篇文章《浅谈量化中的数据清洗——处理异常值》中，我们讨论了关于异常值的清洗和假设。本文中，我们再聊聊数据缺失值的清洗和假设。
量化研究模型往往是建基于大量数据，然而，在数据挖掘过程中，经常会遇到挖掘出来的特征数据存在各种异常情况，比如数据异常、数据缺失等。对于这些情况，如果不加以处理，将可能直接影响到最终模型建立后的使用效果，甚至可能导致模型失效。所以对于数据挖掘工程师来说，掌握必要的数据清洗方法是很有必要的！
什么是缺失值
缺失值，指的是缺少的数据，由于部分数据结构是齐整的，比如矩阵，缺失的数据会变成空值（NAN）留在其中，对我们后续的研究带来麻烦。我们需要分析后并去掉它们的影响。对于缺失值，量化中常见的处理方法是填充或删除。我们先分析泛用的清洗方法，再来研究数据的特性，对缺失值进行分类。
处理缺失值的泛用方法——填充
扫一扫
586
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
