- 商业理解:数据挖掘不是我们的目的,我们的目的是更好地帮助业务,所以第一步我们要从商业的角度理解项目需求,在这个基础上,再对数据挖掘的目标进行定义。
- 数据理解:尝试收集部分数据,然后对数据进行探索,包括数据描述、数据质量验证等。这有助于你对收集的数据有个初步的认知。
- 数据准备:开始收集数据,并对数据进行清洗、数据集成等操作,完成数据挖掘前的准备工作。
- 模型建立:选择和应用各种数据挖掘模型,并进行优化,以便得到更好的分类结果。
- 模型评估:对模型进行评价,并检查构建模型的每个步骤,确认模型是否实现了预定的商业目标。
- 上线发布:模型的作用是从数据中找到金矿,也就是我们所说的“知识”,获得的知识需要转化成用户可以使用的方式,呈现的形式可以是一份报告,也可以是实现一个比较复杂的、可重复的数据挖掘过程。数据挖掘结果如果是日常运营的一部分,那么后续的监控和维护就会变得重要。
数据挖掘的流程英文解释为 Knowledge Discovery in Database,KDD,
数据库中的知识发现包含 分类、聚类、预测和关联分析
- 分类:通过训练得到一个分类模型,然后用这个模型对其他的数据进行分类
- 聚类:聚类就是将数据自动聚类成几个类别,聚在一起的相似度大
- 预测:通过当前和历史数据来预测未来趋势
- 关联分析:发现数据中的关联规则,典型应用在购物篮分析
KDD 过程:输入数据 -> 数据预处理 -> 数据挖掘 -> 后处理 -> 信息
数据预处理通常包括:
- 数据清洗:去除重复数据,去噪声
- 数据集成:将多个数据源数据统一存放在数据存储中