数据挖掘关键技术
- 人工智能
- 机器学习
- 模式识别
- 统计学
- 数据库
- 可视化技术
数据挖掘主要步骤
- 数据准备
- 规律寻找
- 规律表示
数据挖掘发展历史及各阶段的主要算法简介
<20世纪70年代
- 人工智能
- 知识发现
- 稳健统计
- 描述统计
- 探索性分析
70~80年代
◆广义线性模型
研究响应值的非正态分布以及非线性模型的线性转化
◆EM算法
从非完整数据集中对参数进行MLE估计；
应用：处理缺失数据、截尾数据、带有噪声等的不完整数据
80年代~
◆支持向量机SVM算法
应用：小样本、非线性及高维模式识别，函数拟合
◆神经网络
◆Bootstrap
在已知数据的基础上，模拟N->无穷大时的情况；
通过重抽样的方法扩充数据量
◆核光滑
非参数领域
未来发展
- 算法效率和可伸缩性
- 处理不同类型的数据和数据源
- Web挖掘
- 数据挖掘中的信息保护和数据安全
- 数据挖掘系统的交互性
- 探索新的应用领域
- 数据挖掘语言或相关方面的标准化工作
- 数据挖掘结果的可用性、确定性及可表达性
- 各种数据挖掘结果的表达
- 可视化数据挖掘
关于Smartbi Mining企业数据挖掘平台
思迈特企业数据挖掘平台（Smartbi Mining）是用于预测性分析的独立产品，旨在为企业所做的决策提供预测性智能。该平台不仅可为用户提供直观的流式建模、拖拽式操作和流程化、可视化的建模界面，还提供了大量的数据预处理操作。此外，它内置了多种实用的、经典的机器学习算法，这些算法配置简单降低了机器学习的使用门槛，大大节省了企业成本，并支持标准的PMML模型输出，可以将模型发送到Smartbi统一平台，与商业智能平台实现了完美整合。
Smartbi Mining数据挖掘平台支持多种高效实用的机器学习算法，包含了分类、回归、聚类、预测、关联，5大类机器学习的成熟算法。其中包含了多种可训练的模型：逻辑回归、决策树、随机森林、朴素贝叶斯、支持向量机、线性回归、K均值、DBSCAN、高斯混合模型。除提供主要算法和建模功能外，Smartbi Mining数据挖掘平台还提供了必不可少的数据预处理功能，包括字段拆分、行过滤与映射、列选择、随机采样、过滤空值、合并列、合并行、JOIN、行选择、去除重复值、排序、增加序列号、增加计算字段等。
（参考文献 ：《数据挖掘算法原理与实现》王振武，如有侵权联系删除！）