前言:想要写出一篇令人眼前一亮的文章吗?我们特意为您整理了5篇数据分析解决方案范文,相信会为您的写作带来帮助,发现更多的写作思路和灵感。
【关键词】网络数据;存储备份系统;解决方案
随着社会的发展,科技水平的提高,网络技术应用于各个领域,同时网络结构也趋于复杂,从而影响着网络数据的安全与共享。网络数据存储备份系统要不断完善与发展,才能适应社会发展的需求。本文将通过对DAS、NAS与SAN技术的分析与研究,提出网络数据存储备份系统的解决方案。
一、DAS、NAS、SAN技术的概况
(一)DAS、NAS、SAN技术的涵义
DAS即直接附加存储或磁盘阵列,DAS将直接连接在服务器或客户端的数据存储设备上,它的中心为服务器,通过服务器或客户端实现存储,主要是由硬件组成的。NAS即网络附加存储,NAS具有特殊性与独立性等优势,它是一种专用的数据存储服务器,它具备独立的系统软件,从而保证存储的优化,同时其具有共享功能,能够提供跨平台的文件。NAS的中心为数据,通过存储设备和服务器的分离,实现了对数据的集中管理,进而利于宽带的高效释放。SAN即存储局域网,SAN是一种共用的、高速的专用存储网络,其存储设备主要分布在服务器的末端。SAN是一种专用的高速光纤网络,其光纤通道是由PRID陈列连接形成的,同时SAN的架构需要专用的光纤交换机与集线器[1]。
(二)DAS、NAS、SAN技术的比较
关于DAS与NAS技术的比较主要表现在以下几方面:在安装方面,DAS的安装相对复杂,一般情况下需要两天时间;NAS的安装相对便捷,通过独立安装,在十分钟左右便可以完成。在文件共享方面,DAS不具备跨平台文件共享的功能,因此,各个系统平台的文件存储需要分别进行;NAS具备跨平台文件共享的功能,因此可以实现文件共享。在操作系统方面,DAS不具备独立的存储操作系统,其应用依赖于服务器或客户端,因此,DAS极易造成网络的瘫痪与数据的丢失;NAS具备独立的存储操作系统,从而能够保证其宽带的释放,利于网络的正常运行。在存储数据结构方面,DAS的数据存储模式相对分散,因此,不利于网络管理人员的管理,同时也增加了维护的费用;NAS的数据存储模式相对集中,因此,其便于网络管理人员对数据的集中管理,其维护的成本也相对较少。关于NAS与SAN技术的比较主要体现在以下几方面:在设计理念方面,NAS拥有专用的数据存储设备,同时可以直接联网,是一项独立的系统存储平台;SAN需要存储在局域网,不具备独立的设备。在安装方面,NAS安装十分便捷,即插即用;SAN的安装需要在服务器或存储设备上添加光纤网卡。在文件共享方面,NAS具备跨平台文件共享的功能,因此可以实现文件共享;SAN具有独立的数据存储池,因此,不同系统平台的数据可以在同一存储设备中进行存储。在存储距离方面,NAS可以满足长距离、不同区域数据存储的需求;SAN的存储距离由光纤传输距离决定,因此,SAN可以进行短距离的数据存储。
二、网络数据存储备份系统的解决方案
网络数据存储备份系统采用NAS存储技术,其具有以下特点:网络快,其网络访问为双千兆以太网;容量大,其容量为4U高度和10颗热插拔的硬盘;实现了文件共享,并可以跨平台、跨主机;安全性,其具有权限安全管理功能,并能够对系统进行全天候的监控。
(一)NAS的系统存储
在E-mail存储方面,其系统存储完全能够满足万人用户的需求,NAS在E-mail存储中其容量可以达到200GB。在光盘数据下载方面,NAS的数据传递可以满足100个并发的需求。
(二)NAS的系统安装与维护
在硬件安装方面,NAS的系统安装可以保持原有网络不变,将其连接到网络的交换机上,在连接电源便实现了安装;在软件安装方面,NAS的系统安装可以在局域网的服务器上进行安装,在软件运行后,NAS将被自动搜索,再打开设置窗口,便可以对NAS进行设置。同时,NAS系统中可以安装防病毒的相关软件,进而保证其数据的安全性[2]。
(三)本方案的优点
本方案有众多的优点,主要优点如下:
应用了负载均衡技术,NAS根据并发量的不可控性,应用了负载均衡技术,从而数据的读取由负载均衡软件控制,并提升了并发访问的速度。
NAS自身的优势,如:安全性、便捷性与扩展性等,NAS可以即插即用,其安装十分便捷,其管理不需要专业的人员,在应用过程中,减轻了服务器的负荷,保证了网络的高效,其安全性与共享性能够保证数据的安全,即便网络存在故障。
具有较快的响应与较多的并发用户。NAS的独立性与优化性,主要体现在其系统存储平台的独立与存储操作系统的优化,从而NAS利用网络数据传输率的提升,利于用户响应时间的降低。在并发用户较多的情况下,NAS的性能愈加突显,它能够满足较多的并发用户的需求。
实现了跨平台的文件共享。NAS的跨平台文件共享,节约了用户的费用,可以对不同文件格式的资料进行存储,同时也可以在不同的系统上对数据进行访问。
同时具有便捷性与安全性。NAS在安装与维修方面十分便捷,不仅不需要辅助的软件,还不需要网络服务的停止,并且在安装时,不需要改变网络架构,进而利于用户投资与成本的控制。NAS可以保证数据的完整性与安全性,主要是将源数据变成了日志文件,从而利于文件系统的恢复[3]。
总结:综上所述,网络数据存储备份系统的完善直接关系着系统数据的安全,文中分析了DAS、NAS、SAN存储技术,其中NAS技术具有诸多的优势,因此,网络数据存储备份系统解决方案中运用了NAS技术,形成了跨平台的网络数据存储系统,这一方案具有实用性、可靠性与扩展性等,不仅控制了成本,还提高了网络的性能。
参考文献:
[1]赖晨捷.华能太仓电厂数据存储备份系统解决方案探讨[J].电力技术,2010,2(04):26-27.
数据的变化,从来不是一个循序渐进的过程。随着信息的砰然爆发,谁能合理地分析、管理、挖掘海量数据的内在价值,谁就有可能成为下一个行业巨头。无论从应用、需求还是解决方案层面,大数据都已经到了“应时而生”的时代。
“可以说,这是一场数据的‘工业革命’,数据迎来了量与质的改变,非结构性数据激增,计量单位已从T级升至P级,甚至是E级。”英特尔亚太研发有限公司总经理何京翔在接受本刊记者采访时称,“目前这些数据大部分是‘冷数据’,即采集完成后并没有进行实时分析,没有挖掘其潜在价值。”
包装的艺术
大数据涉及数据采集(存储)、数据传输(网络)、数据处理(计算),而这些恰恰都是英特尔的专长。“Intel Distribution for Hadoop是对传统英特尔平台的优化,然而,对Hadoop(目前最受欢迎的对网络搜索关键词进行内容分类的工具)进行逐一模块式的优化仍然是零散的,需要形成整体的、打包式的解决方案,这就进一步涉及管理。”何京翔解释,“目前仅Hadoop涵盖的20个模块是开源的,仅将开源软件定为企业级应用,其稳定性、可靠性、可维护性都成问题。因此,如何把零散的模块包装起来,形成整体效益,才是英特尔的‘绝活’,换句话说,Hadoop管理才是让‘1+1>2’的核心。”
何京翔表示,英特尔正在利用不同级别的处理器架构、不同的数据应用架构,以及相关的解决方案,帮助用户从端到端找到完整的解决办法。综合解决方案,意味着从芯片到存储,再到网络,最后到软件应用,形成链型优化,其直接效果就是原先4小时的处理时间能够被压缩至7分钟。
英特尔的综合解决方案并非一站式服务,这符合英特尔一贯主推的横向商业模式(Horizontal Model)。何京翔称:“英特尔大数据解决方案的客户都是我们的合作伙伴,我们认为,为不同客户提供不同层次的、灵活、强大和开放式的解决方案,方能真正为企业预留出创造价值和发挥优势的空间,帮助企业解决实际难点。”
群狼与雄狮
目前,英特尔大数据技术主要应用于四大领域:电信、金融、智能交通和医疗。
以电信行业为例,中国用户群庞大,自动产生的数据量大,数据分析是个很现实的问题。“电信公司的客户通讯数据产生的时候是结构化数据,但是数量太庞大,传统的结构化数据分析方式做起来比较吃力,所以现在我们先把它转成非结构化的,输入Hadoop,通过分布式处理,生成并存任务,然后再将结果写回结构化数据,最后我们合作伙伴看到的还是结构化的分析数据。”何京翔比喻说,“这是一个典型的‘一头雄狮子斗不过一群狼’的例子。”
6月27日,我国本土的数据库厂商代表北京人大金仓信息技术股份有限公司(简称人大金仓)召开会表示,将打造大数据中心一站式服务来全面迎接大数据时代的到来,深化以市场为导向的产品研发策略,快速向集数据管理、集成、分析展现、安全保护和服务于一体的平台型、一站式解决方案提供商转变。
打造一站式解决方案
随着大数据技术研究和应用的迅速发展,美国奥巴马政府意识到大数据技术的重要性,将其视为“未来的新石油”,作为战略性技术大力推动其发展。3月29日,奥巴马政府在白宫网站了《大数据研究和发展倡议》,旨在提升充分利用大量复杂数据集合获取知识和洞见的能力,并将为此投入两亿美元以上资金。
我国的学术界对大数据的关注也越来越密切。作为一个组成部分,大数据和数据库技术一样,关乎国家的信息安全。国产数据库专家、人大金仓首席科学家王珊教授指出,在大数据应用环境下,若国产数据库不能满足用户在数据管理、数据分析、数据挖掘等方面的需求,用户则只能选择国外厂商的产品,这对国家信息安全将构成重大隐患。
这个问题已经引起了我国数据库厂商的关注。作为我国本土数据库厂商的代表,人大金仓希望从单一的数据库产品提供商向数据整体解决方案供应商转型。
人大金仓总裁任永杰表示:“在大数据时代,用户的需求已不仅仅局限于数据存储,而是向数据管理、分析、展现、挖掘等多元化方向发展。我们计划用3-5年的时间,将人大金仓打造成为国产大数据中心一站式解决方案提供商。”
收购思迈特
任永杰透露,几年前人大金仓就已经在布局相应的解决方案。
记者从会上了解到,作为人大金仓以数据为核心的整体方案提供商发展战略的核心产品,人大金仓数据库产品Kingbase ES V7在刚刚结束的第十届中国国际软件和信息服务交易会上以突出的性能、高安全性、支持云计算、能良好应对企业海量数据管理面临的全新挑战的能力荣获最具竞争力产品奖。
作为打造数据中心一站式服务的重要举措,人大金仓近日还收购了广州思迈特软件有限公司作为其控股子公司暨广州技术中心。据悉,思迈特专门从事商业智能产品的研发,其核心产品Kingbase SmartBI商业智能应用平台能够实现数据预处理(ETL)、仪表盘、灵活查询业务报表、多维数据分析、数据挖掘、GIS展现、元数据管理等功能,并支持iPad/iPhone等移动终端展现。此外,思迈特还提供面向行业深入分析的商业智能解决方案,旨在帮助用户深层次地发现和挖掘数据价值进而转化成商业价值。
秒级营销的提升
为了应对激烈的市场竞争,中信银行信用卡中心迫切需要一个可扩展、高性能的数据仓库解决方案,支持其数据分析战略,提升业务的敏捷性。通过建立以数据仓库为核心的分析平台,实现业务数据集中和整合,以支持多样化和复杂化的数据分析,比如卡、账户、客户、交易等主题的业务统计和OLAP(联机分析处理)多维分析等,提升卡中心的业务效率;通过从数据仓库提取数据,改进和推动有针对性的营销活动。
中信银行信用卡中心总经理张明说:“如何有效地管理和利用不断增长的客户数据,满足业务发展需求,提高业务竞争力,是当前银行业数据仓库应用最大的挑战。”据悉,中信银行信用卡中心采用Greenplum数据仓库解决方案,在国内银行业率先实现了接近实时的商业智能和秒级营销,张明对这一选择感到自豪,对Greenplum的表现非常满意。
此外,中信银行信用卡中心需要一个解决方案来满足由中国人民银行、中国银行业监督管理委员会和全球监管标准巴塞尔Ⅱ协议提出的风险管理要求。例如,一个要求是银行保留5年的交易历史数据,以及报送最近几个月的状态信息。这些信息需要在规定日期提交。此前,中信银行信用卡中心使用磁带存储来解决。然而,从磁带中提取数据过于缓慢,无法银行满足监管机构所规定的时间限制。
从2010年4月到2011年5月,中信银行信用卡中心实施了数据仓库解决方案。实施之后,中信银行信用卡中心实现了近似实时的商业智能(BI)和秒级营销,运营效率得到全面提升。
数据仓库解决方案为中信银行信用卡中心提供了统一的客户视图,借助客户统一视图,中信银行信用卡中心可以更清楚地了解其客户价值体系,能够为客户提供更有针对性和相关的营销活动。基于数据仓库,中信银行信用卡中心现在可以从交易、服务、风险、权益等多个层面分析数据。通过提供全面的客户数据,营销团队可以对客户按照低、中、高价值来进行分类,根据银行整体经营策略积极地提供相应的个性化服务。
2011年,中信银行信用卡中心通过其数据库营销平台进行了1286个宣传活动,每个营销活动配置平均时间从2周缩短到2~3天。并且市场活动中答应客户在刷满一定金额或次数后送给他们的礼品,可以在客户刚好满足条件的那次刷卡后马上获得,实现了秒级营销,而不必像之前那样等待好几个工作日。2011年的前三个季度,中信银行信用卡中心交易量增加65%,比股份制商业银行的平均水平高14%,比中国所有银行的平均值高4%。
传统的BI系统性能得到大幅提高。现在中信银行信用卡中心已经可以结合实时、历史数据进行全局分析,其足以影响整个业务。例如,风险管理部门可以按账单日调整持卡人的信用额度。以前的信用额度调整只能在每月或每季度的基础上进行,而通过使用新的数据库解决方案中提供的数据,风险管理部门现在可以每天评估客户的行为,并决定对客户的信用额度在同一天进行调整。使用从数据库解决方案提取的数据,中信银行信用卡中心迄今已为客户进行了4000万次的信用额度调整。中信卡中心催收管理团队使用了基于数据仓库的FICO TRIAD系统后,信用卡不良贷款(NPL)比率同比减少了0.76%。
中信银行信用卡中心电话销售中心将所有外呼营销历史整合到数据仓库,通过对大量历史数据分析后调整客户提取和营销策略,在上线后的第一个月便实现单位工时创收提升33%、笔均贷款额提升18%,目前银行正在开发针对每个产品的营销响应模型,以进一步提升产能。
由于所有客户信息现在均可以通过分中心CRM(客户关系管理)系统的专用PAD移动设备实时获取和使用。分中心的营销人员除了单纯的发卡工作外,还参与到客户服务、风险管理、增值产品/消费金融产品营销等工作,分中心团队正在由单纯的发卡团队变为一支强有力的客户经理团队。这在中信银行内部称之为“客户经理制”转型。
省钱的技术
中信银行信用卡中心实施Greenplum方案,是中国股份制商业银行信用卡中心中的第一个企业级的数据仓库系统,也是中国首个第三代技术的银行数据仓库系统。
Greenplum解决方案的一个核心独特功能是采用了“无共享”的开放平台的MPP架构,此架构是为BI和海量数据分析处理而设计。数据在多个服务器区段问会自动分区,而各分区拥有并管理整体数据的不同部分;所有的通信是通过网络互连完成,没有磁盘级共享或连接,使其成为一个“无共享”架构。Greenplum数据库提供的MPP架构为磁盘的每一个环节提供了一个专门的、独立的高带宽通道,段上的服务器可以以一个完全并行的方式处理每个查询,并根据查询计划在段之间有效地移动数据,因此,相比普通的数据库系统,该系统提供了更高的可扩展性。
关键词: 智能数据平台 产学研 整合思路
一、社会治理智能数据平台的构建思路
随着信息化时代的到来,人们对大数据的研究开始日渐加深。研究者开始越来越多地强调对大数据的深层次挖掘,其中这种挖掘使得研究者能有越来越多探讨和发现原来所不存在的事物之间的相关关系。可以说,大数据的出现,是“长尾理论”和“黑天鹅”理论的双重验证――原本被统计学剔除在外的小概率事件纳入其中。但是,值得深思的是,目前对大数据的研究仍然过多地集中在理论层面,缺乏实践性的探讨,更缺乏深层次的具有统筹规划方案能力的全方位的探测。因此,在高校研究和社会治理层面,这种非计算机科学的社会应用,如果能够行之有效地将大数据概念引入实践化,就成了摆在社会科学研究者眼前的重中之重。特别是构建一套完整智能数据平台,帮助社会科学研究者在数据收集、数据分析和同用户反馈交流中起到平台作用,进而实现生产、教学和科研三位一体的布局战略。
智能数据平台所实现的这三个功能既是独立的又是相辅相成的。说这三者是独立的,原因在于这三个功能个各司其职地完成了相对较为独立的任务。其中,智能数据平台的生产功能为用户满足商业、政府、NGO等社会组织数据收集、数据分析及满足市民在各种生活情境中对信息的精确获取功能。智能数据平台的教学功能为以学生为主体,深入细致地挖掘智能数据平台中生活情境中可能存在的需求。而科研功能则在通过完成软件的生产和教学功能的同时,进一步拓展了软件的价值。其中,科研的方向可以有二:第一,科研人员可以根据特定情境下智能数据平台收集到的数据进行深入加工和挖掘,在获得深层次变量关系的同时,完成满足社会需求的科研论文和项目。此外,围绕智能数据平台的功能拓展,也是一项重要的科研功能。三者虽然拥有各自的功能,但是在另外一个层面三者之间也存在不可分离的关联。其中生产功能以需求为导向为智能平台的建设提出了方向,这种方向性的指引保证教学过程中能以社会情景、社会组织和社会人的需求为方向进行知识传授。这种以生产为导向的知识传授正是现代应用型技术人才培养的需要。最后,在教学中,由于学生教师以智能数据平台为工具的社会需求解决方案设计,能够进一步保证教师的科研有明确的方向性和应用性。这种应用型将会进一步影响智能数据分析平台的生产和教师的教学。可以说智能平台的构建是能够真正地从满足社会需求方面出发培养应用应用技能性人才,提高教师科研能力较好的解决方案。
二、围绕智能数据平台建设的产学研示例探讨
围绕智能数据平台出发制订产学研三位一体的发展方案不仅能够有效地拓展应用型技术人才培养的思路,而且能够提高实际教学质量,使得教师从原本简单的知识讲解转换到和学生一起寻找具体社会问题的解决方案。例如,在传统的社会工作类专业中,一般都会部署发展社会学、西方社会学、社会组织管理、社会调查研究方法和数据分析技术这5门课程。按照传统意义的划分来看,这5门课程分别对应了社会理论和研究方法的课程。从传统课程的讲解体系上来看,这5门课程都是自成一体的,依照教学大纲对应着不同的细致知识点。但是从构建智能数据平台建设为核心的产学研研究中,这5门课程便可以有效整合成为一个整体。特别是在以社会情景需求为专题突破口的前提下,这5门课程更是成为统一专题服务的工具,它们以不同的视角指向了同一目标。例如,以“如何了解市民的心理健康程度,保障社会安全”的社会需求为例,教师可以在西方社会学和发展社会学这两门课程中向学生引出该主题,同时要求运用这两门课程的知识,明确能够解决需求的社会理论。学生在理论的确定过程中,通过与教师和其他同学的讨论明确了理论的本质和解决问题的思路,此后将依据理论界定出关键概念和研究主题与研究假设。在社会组织管理课程中,学生将依据研究主题和假设,明确社会需求可能解决的突破点――选择和那些具体的社会组织进行合作与探讨,从数据收集和分析的角度科学化地提出一整套解决方案。在未来的社会调查研究方法和数据分析技术中,研究者将可以通过已确定研究主题、假设和社会组织的具体情况进行概念操作化和问卷设计,并将问卷、测量或其他形式的数据收集方式置入智能数据平台中。在数据分析技术课程中,学生将按照已经设定好的研究方案运用智能数据分析平台对分析数据并输出报告。最终,这些报告和数据结果将有针对性地提交给对应的社会管理组织,在实践中评估其对社会需求的解决程度。
参考文献:
[1]陈阳,张梅.大数据基础上抽样调查在社会治理中的应用探讨[J].理论界,2015,11:151-155.
[2]陈阳,魏玉东.大数据影响下的政府社会经济调查动向探寻[J].辽宁经济,2015,01:76-77.