诠释数据仓库及数据运用

前言：本站为你精心整理了诠释数据仓库及数据运用范文，希望能为你的创作提供参考价值，我们的客服老师可以帮助你提供个性化的参考范文，欢迎咨询。

摘要：本文阐述了数据仓库及数据挖掘的有关概念，简述了数据仓库、数据挖掘的实施过程，介绍了如何应用数据挖掘。并对数据仓库与挖掘技术结合应用的发展做了展望。

关键词：数据仓库；数据挖掘；

1数据仓库

数据仓库的含义：“数据仓库是用于支持企业或组织的决策分析处理的，面向主题的、集成的、不可更新的、且随着时间不断变化的数据集合。”互联网中的数据浩如烟海，如果用户在其中搜寻的话，基本上是大海捞针。而数据仓库便解决了此类问题，它把庞大的数据及信息从互联网中收集起来，并进行适当的处理、加工和分类，把这些凌乱的数据转换成公共的数学模型，这样便能够解决数据与数据之间的冲突、表达不一致等问题，同时还方便用户查询自己所需要的信息，这样便使得数据和信息在决策查询上理便捷。

2数据挖掘

互联网中，实际的应用操作数据往往都是数量很大，不完整且具有模糊性和随机性。而数据挖掘所要做的便是提取这类数据中隐含的、不为人知的，但对人们又有潜在用途的信息和知识。并把提取的知识和信息存放于数据仓库或其他信息库中，所以说，数据挖掘是运用统计学、人工智能、机器学习、数据库技术等方法发现数据的模型和结构、发现有价值的关系或知识的一门交叉学科。另一个角度来讲，数据仓库中的数据，利用挖掘技术的算法，将源数据收集起来，并进行适当的筛选及过滤变成相应信息。数据挖掘基于的数据库类型有：关系、面向对象、事务、演绎、时间和时间序列、多媒体、空间、遗产、文本、Web型以及新兴的数据仓库等。对于数据库的描述，通常是指面向对象的数据库在面向对象的程序为规范的程序设计标准。其描述对象可以是一定时期的人口、流量等数据。而关于一个对象的代码在一个单元中的封装，对象可以与其他对象或数据库系统通信。空间数据库涉及空间的信息，如地理、医疗和卫星图像数据库等，通过数据挖掘可以发现，描述各个地区的人口或者可以根据现有的关于某小区距离中心主要道路的距离的描述来表达这个小区低价的变化程度。通过纵轴和横轴的序列数据库我们可以看出，数据挖掘可以根据数据库中的数据的变化随时随地的进行调整，从而发现数据的变化特点和变化趋势，通过对这种变化的趋势和特点的变化，帮助人们处理计划，制定发展策略等。在文本数据库中大部分是高度化的长句和短文，数据挖掘的作用是发现、描述对象和类的特征，进行关键词和内容关联性分析以及文本对整理象的聚类。多媒体数据库存储的是图像、音频、视频数据，在其上进行数据挖掘，这是存储和搜索技术相结合的新兴技术，这种技术中，进行多媒体数据的特征的提取和基于相似性的模式匹配等。

数据库的建设是以程序设计为标准的。无论何种先进的技术都有它的局限性，数据挖掘也亦如此，它只能对信息进行初期处理，也就是说，如果收集的数据中出现丢失或冲突的现象，用数据挖掘的算法是不可行的。

3数据挖掘技术

3.1数据挖掘分析方法数据挖掘的分析方法可分为两类：直接数据挖掘和间接数据挖掘。直接数据挖掘指：L在指定的数据中，按照某一法则，提取其中可用数据，建立一个数学模型，并用此模型对余下的数据，或是对有的数据进行描述。直接数据挖掘有：分类、估值、预言。间接数据挖掘指：目标中的数据都是没有规则的，因而不能确定某一具体的变量，所以不能用模型来对其进行系统上的描述，只能通过数据之间联系，将彼此组合起来。间接数据挖掘有：相关性分组或关联规则、聚集、描述和可视化。下面本文将对分类和预测、关联分析和聚类分析三种数据挖掘方法介绍。

3.1.1分类和预测数据分析一般分为分类和预测两种形式，如果想要知道某种数据未来的走向，或是提取某种模型中重要的数据，可以利用数据分析形式的属性对其进行描述，然后得到自己想要的模型，并把数据合理的分类，以便使用原有数据对新数据进行预测。数据分析的两种形式，在信誉证实、医疗诊断、性能预测和选择购物等方面的用途也十分广泛。如在金融证券领域，想要在银行贷款，必须要分析贷款是否有足够安全性，风险性是否很高，如此便要建立一个分类模型，对其进行预测，例如想要成功销售一批计算机设备，我们必须要预测、分析哪类人可能是潜在的用户。

3.1.2关联分析关联分析在交易数据、关系数据以及其他信息载体中应用较为广泛，可以查找有关于某一个项目集合或者对象集合之间存在的频繁模式、关联、相关性、或因果结构。当然这种关联分析也可以用最小置信度和支持度找出所选范围内所有感兴趣的规则。其中最为著名的关联规则发现方法常用的是Apriori算法。关联分析大多应用在消费者一次购物时同时购买锪商品购物分析、某些商品和另外一些物品次序推销或促销以及大型工厂、制造厂里生产的产品目录设计等。如某所大学，所有学生记录中，有2%的人专业是会计且选修了数据库且成绩为A；在专业是计算机科学CS且选修了数据库DB的学生中有75%的人成绩为A。

3.1.3聚类分析聚类分析的方式就按照某种程度的度量方式来进行度量方法，这种方法中将用户的数据根据需要分解成相应有意义子集合。通过能否用于大数据量和不同的数据类型，能够发现不同开关和类型的聚集；对领域知识的要求昼少；对噪声或数据不同的顺序不敏感，来判断优劣，根据模型可解释。如：①一些特定症状的聚集可能预示了一个特定的疾病。②租VCD类型不相似的客户聚集，可能暗示成员属于不同的亚文化群。

3.2数据挖掘的一般步骤

3.2.1数据准备在数据挖掘初期，我们的目的是要完成初始数据的项目。而建模人员的工作要务就是在这些收集的现有数据中，提取与客户提供的主题相关的数据项，然后初步分析数据，首选用已有的程序去提取收集好的数据，然后进一步收集好的数据。然后进一步衍生变量，重复进行若干次（直到我们所要的数据变量都变成合格。）最后把这些数据整理，分类成一个文件，存于数据集市中。

3.2.2取样工作人员在上步的数据集中随机抽取样本。

3.2.3建立模型取样后，建模人员要对所取的样本进行逐个分析，并将数据分为两类：训练数据集体和验证数据集体，然后选用最佳方案来建立模型或规则集。一般来说，有多种方法来出库数据挖掘的问题的类型，而这些方法通常也是与数据在形式上一一压的。因此，在建立模型的工程中，经常需要返回到初级准备阶段。

3.2.4验证模型模型确立后，建设人员还应该根据验证前后模型的准确性。

3.2.5模型评估模型评估的标准是根据上面三个步骤的模型来作为评分的。挖掘主机评分的主程序中的数据都是由已建立的模型通过循环的方式获得的。

3.2.6执行如若要运用模型对新的数据进行处理，可以保留或改善模型。数据挖掘的步骤并不是一个流水线，所以它不可能一次性做完所有任务。过程中有许多乃至全部的步骤需要循环进行，所以每一个阶段不是一成不变的。

3.3数据挖掘工具的新的技术和应用热点介绍文本挖掘、网络挖掘两种。

3.3.1文本挖掘文本挖掘，顾名思义，就是从非结构化的文本中发现潜在的概念以及概念间的相互关系。在这项技术中，是分词技术中的关键部分，词典的运行。只有让计算机依据词典完成正确之后，才可以实现将非结构化信息转化为结构化信息，然后就可以进一步研究文本之间的关系。目前，像IBM、微软等主流挖掘工具以及google和SNS网站都已经在使用广西挖掘技术。但遗憾的是，目前这些工具大多只支持英文，还不支持中文挖掘。

3.3.2网络挖掘网络挖掘从主体上来看，可分为三种挖掘：文本挖掘、结构挖掘以及点击挖掘。

4数据挖掘（DM）实际应用

DM工具和软件已经在各个领域中得到广泛的应用，收到的效益显著。

4.1金融方面为了让市场经理以及业务员能够更好的融入到公司活动和设计新的市场活动中，可以整理用DM对不同的业务，不同的信息走向，以及一些决策进行合理的划分。

4.2客户关系管理方面DM不仅可以协助了解客户的行为，还可以找出产品的使用模式，从而一定程度上改变通道管理的程序，就好比只有理解顾客的作息周期性规律，才能更好的进行销售。

4.3在过程控制/质量监督保证方面大量变量之间的相互作用是通过DM来协调的，某些异常数据，DM会自动识别，并进行相应的处理措施，从而让技术人员能够发现问题所在的范围，并及时处理。

4.4远程通讯部门基于DM的分析协助组织策略变更以适应外部世界的变化，根据市场要求进行模式化的该百年来知道市场行为。在网络容量利用方面，DM客户在服务使用的结构和模式的了解，从而指导容量计划人员对网络设施作出最佳投资决策。

4.5使用DM进行军号事信息系统中的目标特征提取、态势关联规则挖掘等。

5总结

发展数据仓库可以促进数据挖掘越来越成熟，但是数据挖掘并不一定要有数据仓库的支持。因为数据仓库并不是数据挖掘的必要条件，有很多数据挖掘可直接从操作数据源中挖掘信息，而且数据挖掘仍然经常被看做是数据的后期市场产品。数据仓库平台的数据挖掘的构造具有很强的实用性，效率很高，节省资源。