数据挖掘并不能解决所有待解决的问题,需要在项目开始之前确定要解决的问题。
数据必须是可用的,数据必须是适当的,干净的。
数据准备花费了50%以上的时间,而且挖掘项目越大,这个比例越高。
数据挖掘部分占比仅10%。
首尾两步骤无疑应该是数据分析和商业理解配合完成。
数据准备:标准化、缩放、最大最小映射、平整、
离散化:替换(最大值—最小值替换,平均值替换,零值替换)
异常点:异常点自动检测(距离、密度、比例、常识)
本文探讨数据挖掘过程中遇到的主要挑战,包括明确问题定义、确保数据质量和适用性的重要性。文章强调了数据准备工作的复杂性和耗时性,并指出其在整个项目周期中所占的比例远超实际的数据挖掘工作。此外,还提到了一些常用的数据预处理技术。
数据挖掘并不能解决所有待解决的问题,需要在项目开始之前确定要解决的问题。
数据必须是可用的,数据必须是适当的,干净的。
数据准备花费了50%以上的时间,而且挖掘项目越大,这个比例越高。
数据挖掘部分占比仅10%。
首尾两步骤无疑应该是数据分析和商业理解配合完成。
数据准备:标准化、缩放、最大最小映射、平整、
离散化:替换(最大值—最小值替换,平均值替换,零值替换)
异常点:异常点自动检测(距离、密度、比例、常识)

被折叠的 条评论
为什么被折叠?