首页 > 文章中心 > 云计算的技术

云计算的技术

前言:想要写出一篇令人眼前一亮的文章吗?我们特意为您整理了5篇云计算的技术范文,相信会为您的写作带来帮助,发现更多的写作思路和灵感。

云计算的技术

云计算的技术范文第1篇

随着计算机信息技术的发展,一种新型的计算模式――云计算逐渐兴起,云计算具有超强的计算能力、可靠性、虚拟性、通用性、按需付费等特点,因此云计算近年来发展迅速,已经成为未来计算机发展的方向。本文主要阐述了云计算和云储存的概念,并分析了云计算环境下云计算数据存储Google File System和Hadoop Distributed File System两种存储数据。

【关键词】云计算 云储存 数据存储技术

21世纪是信息知识爆炸的年代,每天产生海量的信息,企业需要处理和存储的数据信息越来越多。如果按照传统计算机算法,企业为了存储信息需要购置大量的硬件设施和软件设施,并需要专人对数据信息进行管理,对设备进行维护,需要耗费大量的人力和物力成本。而云计算这种计算方式,省去了企业管理和维修的麻烦,企业可以将大量的数据信息放在服务器或者云端,企业只需要支付少量的管理费用,就能随时调取云端的数据信息,并享受图片处理、归档服务、音视频转码等多种数据增值服务。

1 云计算与云存储的概念

1.1 云计算

根据美国国家标准与技术研究院的定义:云计算是一种按使用量付费的模式,这种模式提供便捷的、可用的、按需的网络访问,用户只需要进入到可配置的计算资源共享池,包括服务器、存储、网络、应用软件和服务器等,云端管理人员只要通过少量的管理或者与服务商进行少量的交互,就能实现对云端的管理。云其实是互联网的一种比喻说法,通过云计算可以将数据信息存储在计算机中,这里的计算机指的是远程服务器。然后企业根据自己的需求,对计算机存储系统进行访问,并将信息资源直接切换到实际应用方面。计算机直接将主机功能交给了云端,云端的计算能力就跟水电一样,成为了一种商品,这就促使传统计算机方式向现代计算机方式转变。

1.2 云储存

云储存是在云计算的基础上提出的,它与云计算有很多相同的地方。云计算主要是通过网络技术、集群应用和分布式文件系统,利用应用软件将网络中大量不同类型的存储设备连接起来,共同合作,对外提供业务访问和数据存储功能。云存储与传统的存储模式相比,它是一种特殊的构架服务,它必须建立在互联网基础上,为用户提供在线的存储服务。用户不需要考虑存储器中的容量、数据存储位置、安全等问题,只需要按时付费就可以了。

2 云计算的数据存储技术

云计算存储技术具有比较明显的两个特点:第一是高传输率,第二是高吞吐率。当前,云计算存储技术比较主要有谷歌开发的非开源的GFS和Hadoop团队开发的HDFS技术。不过后者在IT厂商应用的比较广泛。

2.1 Google File System

Google File System简称GFS,这种存储技术不仅开源扩展,而且是分布式的,广泛应用在分布式的数据访问。它的硬件价格比较低,但是却提供了容错的功能。每一个GFS都是由一个master和多个chunkserver构成,能够提供多用户的访问权限,只要用户的访问资源不受限制。chunkserver可以和访问同时进行。GFS系统文件被分成很多个小块,每一个小块的标识是chunk―handle,chunk―handle由master分配。为了保证数据的安全性和可靠性,GFS系统文件会被复制在多个chunk―handle上,文件的副本由用户决定,master会对系统文件进行维护。比如系统访问控制、空间名字。此外它还可以控制系统的活动范围,chunkserver间的迁移和单个模块的垃圾收集等。master还会定期指令给chunkserver,让chunkserver收集它的发展状态。目前谷歌公司开发的GFS客户代码基本已经实现了系统文件的AP,所以用户与master的数据交换,之限制元数据操作,存储数据直接和chunkserver联系,chunkserver和文件数据客户不会缓存。

2.2 Hadoop Distributed File System(HDFS)

Hadoop分布式文件系统是HDFS由多个存储数据的终点和管理节点构成的。它的中心服务器是namenode,客户端和文件管理系统namenode对文件进行访问。每一个namenode节点都有一台普通的计算机对应,运行时与单机计算机文件系统类似,可以在文件系统常见名录、更改文件名。其实系统的底层已经把文件分割成了Block,并⒄庑Block进行不同的存储,从而达到容错的目的。namenode是HDFS文件系统的核心内容,它可以维护一些数据结果,再把记录文件分割成Block,并在namenode获得相关的消息。

3 结语

云计算是一种新型的计算模式,它必须依靠大数据或者在大数据的基础上,为计算机用户提供服务和帮助。为了确保计算机数据的可靠性和安全性,云计算对云端数据采取了分层存储的方式,为用户提供多层次的安全防护。但是如今云计算的安全问题依然是用户关心的重点。云存储已经是未来存储的一种趋势。当前各大云存储运营商正在积极开发应用技术、搜索和云存储相结合的技术,为用户提供更加便利的服务,但是云存储的发展还须加强云存储的安全防护功能和技术研究。

参考文献

[1]刘晓辉.试析计算机云计算的数据存储技术[J].通讯世界,2015(21):257-257.

[2]耿丽娟.基于云计算的数据存储技术探索[J].科技尚品,2016(03):174-174.

[3]蒋穗,祁杰.数据存储技术在云环境下的应用特性分析[J].移动通信,2013(11):42-44.

云计算的技术范文第2篇

[关键词]计算机;云计算;技术;应用;实践

中图分类号:P315.69 文献标识码:A 文章编号:1009-914X(2014)30-0252-01

随着信息技术快速发展,大量移动设备涌入网络系统当中,增加了信息系统负载的压力,而各项资源负载压力与有限性,使得与有关信息资料与设备成本间的矛盾加剧,急需新解决方案,在这种情况下,云计算技术进入人们的视野,并成为计算机技术发展的新方向之一,云计算作为信息技术知识产权资产的一种,经过云计算技术的应用与实践,对人们的生活与工作方式将会产生巨大影响,强化云计算技术的应用研究是大势所趋。

1 云计算概述

云计算最早来自网络就是电脑的思想,后来,亚马逊提供了弹性的计算云服务,而云计算一词最早是由谷歌公司所提出的,并在谷歌推动下,云计算成为世界各大高校的研发项目,在2008年,IBM公司在我国无锡首先成立了全球的云计算中心,目前,云计算已得到全世界各国认识与重视。云计算是种优秀的计算机网络的应用模式,其云所指的是因特网与计算机网络的比喻形式,是个抽象虚拟的网络资源。广义云计算所指的是根据需求与易扩展等形式,运用网络对服务内容进行获取的统称。而狭义云计算所指的是用户终端运用远程连接,对数据库、计算与存储等计算资源进行获取的应用模式。云计算包括数据中心所提供服务与互联网应用服务中的软硬件设施,通过互联网的基础设施,目前全部数据与应用软件均能按照相应形式进行云中存储。

2 云计算技术

2.1 支持架构与部署的自动化

目前的云计算多采取半台体系的结构给予支持,具有支持系统自治与架构敏捷的特点,其中,支持系统自治是指支持体系需要把自动化有关技术镶嵌到其中,降低管理任务与人工部署的影响,用户各应用要求可被云计算平台进行自身智能的处理;而其架构敏捷,可对需求变化或者实际需求进行迅速响应,增强效率。云计算经过自动安装及部署,可实现云计算的自动化应用,并让计算资源由原始状态向可用状态进行转换,通过资源池资源的划分,能为用户提供各类应用服务,并以部署与安装过程的完成来体现,在系统资源当中,允许采取多步骤部署,对有关脚本进行部署,以实现应用软件部署配置与不同的设备管理工具配置,防止大量人机的交互,让部署不再单纯依靠人工操作,而是采取工作流的方法进行全过程的部署,以提高云计算的工作效率。

2.2 虚拟机与安全管理

虚拟机作为云计算关键技术,虚拟机是虚拟数据中心的操作系统,能把离散硬件资源进行统一,实施共享平台的创建,虚拟机的优点为:可整合服务器,降低计算机技术的成本;通过暗哨计划内外停机,能对业务连续性进行改进;对运行很少或不应用服务器能动态关闭。云计算通过计算机资源整合,运用云计算设备当中的任一计算机,对任何隐私的信息均能找到。这使得云计算的安全问题成为亟需解决问题,Siani等人,对云计算的服务设计提出了一些用户隐私保护设计原则,如加入与退出机制,反馈机制,个人信息少发送到云中,数据应用目的限制与明确,禁止未授权复制、访问与应用等。

2.3 资源监控

资源监控也是云计算技术当中的关键技术,对系统资源进行实时监控,并向其他的子系统进行性能信息的提供,以完成系统资源分配。给云的资源动态部署可提供重要的依据,以监控资源的应用及负载状况,运用云计算能对资源可用性与性能进行跟踪,以提供信息问题的解决与资源均衡,对资源池全部资源的监控与管理,可经过监视服务器来实现,经过各种资源服务器的配置监视,可部署程序,并定期将应用有关信息的数据资源上传给数据库。

3 云计算技术的应用与实践

3.1 云计算技术的应用形式

在计算机技术发展下,云计算应用形式主要包括网络服务、软件、互联网整合、商业服务平台与管理服务的提供商,其中,软件就是服务,在人力资源管理类的程序当中,常见的一种云计算应用形式,通过网络浏览器,可将程序信息向用户传输,有效节省了资源成本;商业服务平台为软件与管理服务混合的系统应用,能为用户与提供商间提供互动平台,实施具有针对性的服务;网络服务或软件关系较为密切,经过API能促进开发者实施更多计算机网络应用的研发;互联网整合是将网络供给类的服务公司资源优化整合,为用户提供更恰当快捷服务的供应商;管理服务的提供商,与其它的云计算应用形式相比,这种应用形式最为长远,所面向的是信息技术行业服务的对象,像病毒处理等。

3.2 云计算技术的应用与实践状况

云计算技术起步时间不长,其实力还较为微弱,但随着云计算技术广泛研究与应用,在实践领域以获得较大进展,对人们的生活工作方式正产生影响。有些运营商把云计算中的虚拟技术应用于数据中心,通过数据中心的虚拟化后,运营商的总体投资能够得到降低,服务器整合,对服务器数量增长进行了遏制,降低了IT设备采购量,大幅度降低了有关IT设施采购量,设施数量降低,减少了隐性成本消耗,还避免了环境污染,响应了目前节能减排理念。经过虚拟技术,能构建虚拟化的集群,其高可靠功能,可让应用系统业务得到连续性保障,增强了业务系统的稳定性。

3.3 云计算应用实践前景

随着社会经济发展,信息科技进步,云计算技术发展起来,并在研发应用中获得了很大进步,逐渐成为国际关注及竞争重点,在计算机领域,未来将向虚拟化与云计算进行发展,其发展前景主要表现下列方面,其一,公共云与私有云间的界限不再明显,很多企业将采用公共云与私有云两种技术结合的方式,如因特网一样,成为任何机构与组织内外交流方式,有些信息资源成为两种云技术的融合产物,很多厂商会交付新管理工具、基础架构与安全工具,并用云计算计算看IT发展;其二,软件服务产品会得到更为广泛应用,要有效控制用户访问,就需要采用更好解决方案,尽管次产可给企业发展提供诸多帮助软件应用业务会由工具式应用像免费操作系统的基础软件进行转变,并进而转变为在线企业软件全面的应用,以提供更为综合的应用,充分发挥其价值;其三,随着全球联系的日益紧密性,云计算应用实践,为世界广大用户提供更为全面信息技术,并让信息技术设备成为公共设施应用,在云计算技术下,用户运用云计算,能够用较小成本获取较大计算力,在这种变化下,会激发新理念与新创新在社会生活当中的应用,并促进新技术创新,产生蝴蝶效应,促进信息化社会发展。

4 结束语

在社会经济与计算机技术进不下,云计算技术得以发展,并在应用实践当中,获得了很大进展,成为全球关注竞争的关键技术之一,随着信息化社会的到来,市场需求增大,云计算技术将会成为技术的新改革力量,对人们的生产生活会带来巨大影响,云计算尚处在起步阶段,我国有关云计算的普及有限,很多用户在云计算接受与认知程度较低,要改变计算机传统应用方法,还需要国家进行大力融合推进,以实现计算机资源的优化整合,为我国生产生活带来益处。

参考文献

[1] 高巍,李洁.云计算进入实质性发展阶段对ICT产业格局的影响日益明显[J].世界电信,2011(4).

云计算的技术范文第3篇

【关键词】云计算 虚拟化 存储技术 研究

随着信息技术的不断发展,云计算已经把计算机网络当中的软件技术和硬件以及相关的服务进行了整合,从而形成了一个非常大的资源库,同时在这个资源库中,通过新的计算方法,实现对于用户的相关服务。云计算是一种新的计算机互联网计算模式,所以,在进行云计算的时候,云服务是计算机软件能够有效运行的基本平台,也具备非常重要的意义。而且在云计算当中,我们还能够运用虚拟化的技术手段来不断实现资源的虚拟化计算。云计算存储技术,作为现代信息技术发展中的重要研究方向,它的开发研究不仅具有很大的应用研究价值,而且还具有很大的商业经济价值。

1 云计算概念及技术组成分析

1.1 云计算的概念简述

当前,现代信息技术在不断发展,云计算逐渐应用到现代信息技术领域中,以狭义角度分析,云计算作为一种动态的、可以扩展的计算的方式,其主要通过互联网来提供一种虚拟资源而进行的;以广义角度分析,基于互联网的中心作用,云计算属于一种应用服务的,而服务用户,没必要关注云计算内部细节,也没必要掌握云内部的专业知识,其属于一种计算用户应用服务,往往由云内部直接控制基础设置。从广义角度分析,云计算的应用与服务的类型有很多种,即基础设施服务、软件服务、平台服务等,这些服务基于互联网,结合用户的需求来定制的。

1.2 云计算的组成与核心技术介绍

对于信息技术领域,其中有一种是云计算系统,其以层次化为主,形成的一种架构形式,其层次有六个,即基础设施层、存储层、平台层、应用层、服务层、客户端层等。在云计算系统中,计算机基础设施部分,即基础设施层,其属于一种虚拟化的平台环境,实现用户的需求与服务。在具体服务应用的过程中,基于服务器端的强大计算能力,对其进行单位化,给用户个人PC机提供计算服务,因其不能实现海量数据的计算与服务;其二,在云计算系统中,存储层的任务是提供与支持、实现数据的存储服务,与计算机数据库的服务类似,计算的基础,即使用的存储量,其作为一种云计算的服务结果,也是数据的存储服务;其三,通过云计算的平台层,服务与计算平台与解决的方案;对于云计算的应用层面,凭借云计算的软件结构进行运行服务;而云计算的服务层体现了云计算的本质,在互联网信息技术、资源的基础上,来提供好的服务;其四,在云计算结构层中,有一个重要的组成部分,即云计算客户端,主要任务是承担与实施简单消息以及相应界面显示的任务。

一般而言,云计算的核心存储技术有很多,即虚拟化的存储技术、高性能的存储技术、分布式的计算存储技术等。

2 云计算中的虚拟化分析

在一些企业的信息化平台中,尤其是在系统的建设过程当中,数据中心建设一直是我们启用信息化平台的核心,特别是伴随着当前的信息化技术在企业中的运用得增加。在对于相关的数据资源进行高效的运用后,将这些数据进行灵活地配置后,这已经是企业进行信息化建设的关键。基于这样的背景下,虚拟化的概念和技术便出现了。在云计算中,运用虚拟化技术,这不但能够有效地简化信息资源管理的复杂程度,而且也能有效地实现信息资源的不断优化及合理配置,这对于增强信息资源的运用效率,有着非常大的功能。与此同时,在云计算服务体系中,倘若我们把虚拟化的技术当做是云计算的一种服务方式,提供给用户,这对于增强用户的计算能力,有着很大的帮助。

一般来说,在云计算中,虚拟化就是通过一种抽象化的方式,将物理资源进行转变为虚拟的资源,然而对于物理资源的抽象化方式,这同虚拟资源进行转化的实现手段以及相关的地理位置等方面是有着极大的联系的。资源进行虚拟化之后,完全能够通过有限的硬件进行重新的规划和分配,这对于扩大硬件容量有着很大的意义。在云计算中,虚拟化的应用技术,主要是通过使用虚拟机的监视器和相关的硬件通信设施进行设置的,基于虚拟系统的架构后,在物理资源和操作系统之间有效地实现操作转化,从而能够实现虚拟资源的控制和相关的管理。

3 基于云计算的虚拟化存储技术分析

基于云计算的虚拟化存储技术的实现,是在网络新技术以及产品不断发展的背景下,数据存储需求与存储系统存储空间之间的矛盾日益显现的情况下,为了提高数据资源的使用与存储效率,逐渐进行研究实现的。云存储是一种通过集群技术、网络技术和分布式技术等技术手段,把互联网中不同的数据资源存储设备,利用软件技术集合在一起进行工作的运行服务,其主要的目的是要让用户进行相关的数据存储,访问管理整个系统,以实现对于数据资源的存储,对于空间的维护方面,同时还要考虑建设成本的问题等。云存储过程中,应用的技术主要包括最开始应用的直连式存储技术,以及随着网络存储技术的发展应用,先后出现的网络连接存储、区域网存储和基于IP的存储等各种不同存储方式技术,在实际存储应用中,具有各自不同的特征优势。

4 结论

综上所述,在进行云计算的时候,对虚拟化的存储技术进行相关的研究是很有必要的,这不但能够顺应信息技术的不断发展,而且也能够增强云计算服务的存储力度,不断促进云存储的研究开l,起到了很关键的作用。

参考文献

[1]高翔.试论网络存储技术及发展趋势[J].中国新通信,2016(09).

[2]宋显君.浅析计算机网络存储技术与应用[J].信息通信,2016(07).

[3]马晓峰.浅谈计算机网络存储技术[J].科技传播,2016(16).

作者简介

徐达飞(1983-),男,北京市人。大学本科学历。现为中材集团财务有限公司高级业务经理、中级工程师。研究方向为信息科技、信息安全。

云计算的技术范文第4篇

关键词:云计算;分布式处理;虚拟技术;并行处理

云计算技术在当今的网络服务中已经随处可见,比如说为大家所熟知的搜索引擎,网络电子邮箱等等,使用者若想获取海量信息,只需在搜索框内输入简要的指令即可,由此可知云计算其实离我们并不远。还有未来手机和GPS等移动设备,都可以通过云计算技术,发展出更多的应用服务,这一方面在iphone上已经有所体现。再举一个例子,目前,个人计算机在我们工作中的主要任务依然是文档处理和资料储存,然后若是机器的硬盘坏了,我们肯定会看着大量的资料丢失而束手无策。而自从有了云计算技术,那样的时代已不会再来,因为“云”会代替我们来做存储和计算的工作。那么什么是“云”呢?什么又是“云计算”呢?

云计算是一种新兴的计算模型:用户可以利用该模型在任何地方通过连接的设备访问应用程序,应用程序位于可大规模伸缩的数据中心,计算资源可在其中动态部署并进行共享。简言之,有了云计算,用户不需要计算能力很强的客户端,而是可以直接从“云”里(服务器端)获得计算能力。利用高速互联网的传输能力,将数据的处理过程从个人计算机或服务器转移到互联网集群中,集群中的计算机都是很普通的工业标准服务器,由一个大型的数据处理中心管理着,数据中心按客户的需要分配计算资源,达到与超级计算机同样的效果。

1 计算产生条件、特点

就我理解,云计算其实就是通过数据中心来协同全球各地的各种数据运算,随时随地的去满足用户应用的各种要求,仔细考虑,其实这也正是互联网建立的初衷,因此云计算也应该是互联网发展的必然趋势。云计算的前身其实是20 世纪80 年代末的网格计算(利用并行计算解决大型问题)和20 世纪90 年代末的公用计算(将计算资源作为可计量的服务提供),互联网技术的发展,为这些老技术发展而成的云计算的出现创造了成熟的条件:第一,互联网获得空间发展,连接了全球各地,并且网络带宽极大提高,通过互联网可以传递大容量数据,基于互联网的软件提供模式(saas)开始应用;第二,分布/ 并行/ 虚拟化技术的发展,分布的计算机能够通过硬件和软件技术实现资源的“虚拟化”,并成为可对外提供的“服务”。

2 计算的内容与现状

云计算为我们所带来的改变,是人类对计算机使用方式的改变。从传统一个以桌面系统为中心的应用模型向新的以网络为中心的应用模型转变。在新的模型里,所有的服务和应用都将以在线而不是单机的方式提供给用户,而接收这些服务的终端将不再更多地受限于硬件,包括个人电脑,移动终端都可以随时通过互联网享受到服务和应用,所谓“云”就是成千上万台电脑和服务器互联的电脑云。这种基于互联网的超级计算模式可以让我们从“云”端获得的计算能力可以达到超级计算机的效果。当前,就最简单的云计算技术在互联网服务中已经随处可见,例如搜索引擎、网络信箱,网络存储,文件处理服务等都是“云计算”的具体应用。云计算是未来技术发展的趋势,可以说,谁先抢占云计算这块蛋糕,谁就可以在未来互联网服务中占有先机,全球IT 巨头都不想错过云计算。最早推出云计算服务的是亚马逊(Amazon)。早在2006 年,它就推出了弹性计算云(Elastic Computer Cloud ES2)服务,让中小企业能够按其需要购买亚马逊数据中心的计算能力,以EC2 为基础的云存储S3(Simple Storage Service)不到一年时间里就已存储了50 亿个对象;2007 年,Sun 公司推出了移动数据中心SunBlackbox ,它在云计算中发挥重大作用,Sun 还提供租赁主机服务,以帮助用户实现云计算;同年10 月,Google 与IBM达成合作协议,共同出资为美国6 所大学计算机专业学生和研究人员提供硬件、软件和服务支持,一个月后Yahoo 也与大学开展合作,推出相应计划;11 月,IBM宣布了“蓝云”计划,并安排200 名工程师参与这一计划;同月,微软宣布,将投资5 亿美元再爱尔兰首都都柏林建设其第一个欧洲数据中心,用来支持如MSN 门户和Windows Live 以及Hotmail、照片共享、博客和在线存储等一系列服务;2008 年4 月, google 开放google app engine平台,该平台允许第三方通过它运行应用程序并效能感受google 的带宽、吞吐量、可靠性等性能资源;同年10 月,微软推出WindowsAzure 操作系统,是微软继Windows 取代DOS之后,又一次颠覆性转变———让Windows 真正由PC 延伸到“云”上。

3 云计算发展的未来

云计算的好处如此诱人,但与此同时,也存在较大风险。a.使用云计算意味着数据被转移到用户主权掌控范围外的机器上,也就是云计算服务提供商的手中,那么人们担心这些数据的安全性也不无道理,如何保证用户信息和隐私抑或是商业数据不被泄露或盗取这是用户最关心的;b.由于云计算的特点,用户也不知道自己存储的数据位于全球哪个服务器,而各个国家,地区对于信息保护的法律法规不尽相同,如何保证数据的隔离;c.当今IT 界竞争激烈,服务商公司很有可能随时被淘汰、吞并,如何保证用户数据长期生存性。

云计算的技术范文第5篇

云计算 备份技术 VMWare

1 引言

随着信息化的发展,各种业务系统已经成为大型企业日常生产不可或缺的一部分,这些系统所产生的数据也成为运营商的核心资产。在软硬件处理能力越来越强的现在,电信运营商的IT系统呈现出集约化[1]、去IOE(IBM、Oracle、EMC)化[2]、云计算化的趋势。

对于电信运营商,大部分业务系统是由各省级单位独立建设,互不兼容。在市场竞争激烈、成本要求苛刻、精细化管理成为企业必需的情况下,三大运营商不约而同地选择了集约化发展的道路。业务的变化推动IT系统的集约化,运营商纷纷尝试将分省建设、管理的系统集中到全国几个大型中心。集约化后的IT中心带来了数据的高度集中,对系统备份和恢复的速度要求更加苛刻。

与集约化同时进行的是IT系统“去IOE”的进程。去IOE即在服务器设备上,使用标准化程度高的X86服务器逐渐取代高可靠性、生态系统相对IBM Power小型机乃至所有的小型机在核心系统的使用。去O即从小型业务系统开始,使用Scale out架构的开源数据库逐步消除Oracle数据库在运营商的垄断地位;去E即在数据存储领域使用更为廉价的存储方式代替昂贵的高端EMC存储。去IOE在节省成本、降低对原厂依赖的同时,也带来了对业务系统、数据库及业务数据可靠性的忧虑。

云计算化是使用虚拟化基础架构代替过去孤立的、烟囱式发展的传统IT架构。云计算是在由服务器、存储、网络交换机等硬件的基础上增加了虚拟化层和云层。其中,虚拟化层屏蔽了硬件的差异性和复杂度,为云层提供标准化、可灵活扩展和收缩、弹性的虚拟资源池;云层可以调配硬件资源池,为应用系统提供虚拟硬件。云计算化在增加灵活性的同时,也更来了更多的可能的故障点。

集约化、去IOE化、云计算化的IT系统带来成本节约、灵活度更高的同时,也为应用系统和数据的可靠性带来了更大的挑战。为了保障IT系统安全,需要建立稳定、高效的备份系统,将应用系统和数据备份多份后,在异机甚至异地存储。备份系统可以保证在应用系统出现问题的情况下能够回退到正常状态,是企业IT安全的最后一道防线,需要引起高度重视。

2 传统IT基础下的备份技术

2.1 传统备份对象

在传统IT基础架构下,备份的对象主要针对操作系统、数据库和文件系统。

操作系统是应用系统的基础,其备份技术也是备份的难点。操作系统备份包括系统备份和系统恢复。系统备份由文件备份、系统数据一致性及系统环境等技术组成。操作系统备份时,系统文件、环境变量等参数会不断发生变化,有可能发生相关文件备份时间不同而导致系统故障的问题[3]。为了保证一致性,需要对备份过程中的I/O(Input/Output,输入/输出)进行备份,在系统恢复时将备份过程的I/O操作重新写入操作系统,从而使系统状态与备份结束时间点的状态一致,降低了系统崩溃的风险。系统恢复在异机恢复方面有可能面临着设备驱动不一致,从而导致恢复后的系统无法正常使用的问题。

数据库备份不仅需要备份数据库中的用户数据,还需要对重要的数据库组件如数据文件和控制文件进行备份[4]。数据库的备份可以分为静态备份和动态备份。静态备份是在系统没有事务需要处理时进行的备份作业,在备份期间不允许对数据库进行查询、插入等活动。静态备份可以很好地保持数据的一致性,但同时降低了数据库的可用性。动态备份可以在用户事务发生的同时进行,允许在备份期间对数据库进行存取、修改等操作,但这种方式无法保证副本数据的有效性,需要记录下备份期间对数据库的存取等活动日志。数据库恢复时,需要恢复副本和备份期间的日志才能恢复到正确的状态。

文件系统备份可以通过文件系统定位文件所在的页,然后备份所找到的文件。由于存储在磁盘中的文件的页并不一定是连续的,因此在恢复的过程中磁盘需要不断定位,从而导致磁盘负担较大[5]。在文件系统备份中,运营商的话单文件体积小但数量非常多,其备份是一大技术难题。

2.2 常见备份方式

在实现生产中,通常采用以下方式进行备份:

(1)使用数据库自带备份工具备份。对于Linux下的Oracle数据库,可以编写Rman脚本备份数据,再通过Crontab配置定时复制命令,将数据库备份文件复制到磁盘阵列[6]。对于MySQL,可以使用自带的mysqldump工具,实现基于InnoDB的热备份[7]。

(2)使用操作系统自带工具。Linux操作系统中常使用dump和restore命令来实现文件系统的全备、增量备份和差异备份等备份方式[8],Windows Server下也自带了Windows Server Backup的备份和恢复工具。

(3)基于存储的硬件备份。存储设备是使用硬件来实现数据的存储、备份与恢复,速度较快。通过存储,还可以使用更高级的存储技术,如快照、镜像、重复数据删除等功能。同一厂商的存储产品往往具有远程镜像的功能,可以将本地备份数据通过同步或异步的方式自动实现异地备份。然而不同存储厂商间的硬件备份技术使用不同的技术标准,互不兼容,从而导致不同品牌的存储不能实现硬件的远程镜像。运营商的核心数据经常需要保留三份以上的异地备份,就需要在三个地点都使用同一个厂商的存储设备,这也成为基于存储的硬件备份的一大阻碍。

(4)基于备份软件。备份软件集成了各种数据库、文件系统的备份等功能,又具备了镜像复制、快照、重复数据删除、数据校验、SAN(Storage Area Network,存储区域网络)备份等高级存储功能。备份软件从软件上屏蔽了硬件设备的差异,可以统一管理服务器硬盘、磁盘阵列、虚拟带库以及物理带库等存储设备。同时,备份软件也可以实现对不同操作系统(Windows、Linux、Unix)、不同数据库(Oracle、SQL Server、MySQL)的备份。通过备份软件,系统管理员不需要对不同的操作系统、不同的数据库、不同的存储设备和服务器各自编写自动备份脚本,可以在统一的界面上通过命令行或图形化界面集中管理备份设备、存储设备、备份策略。因此,备份软件也是核心IT系统中常用的备份方式。

(5)备份一体机。随着一体化设备的发展,备份软件厂商纷纷推出集成了备份服务器、存储、备份软件的备份一体机设备。这种备份一体机可以在用户快速部署,大大方便了异地数据备份。

2.3 备份软件

备份软件架构如图1所示,主要由备份服务器、备份、存储服务器、Web服务器组成。

备份服务器可以自动进行备份作业的调度,通过指挥备份和存储服务器共同完成备份、恢复任务[9]。备份服务器维护着Catalog数据库,在数据库里存储备份恢复作业的信息及物理设备相关的信息。备份一般是安装在需要备份的主机中,调用相关系统的接口。在备份作业发起时,数据由备份读取并传输到网络。对于不同的备份对象,往往需要安装对应的模块。例如,为了分别备份Oracle数据库、SQL Server数据库,就需要在对应的主机中分别安装支持Oracle数据库模块和SQL Server数据库模块的备份。对于不同的操作系统,也需要安装相应的备份。存储服务器可以将关键数据存储在存储设备,如磁盘阵列、虚拟带库、物理带库,负责存储中备份数据的读取和写入。Web服务器为管理员提供Web管理界面。目前主流的备份软件不仅有商用的IBM TSM、CommVault、Symantec NetBackup、HP DP等产品,而且还有开源的备份软件Amanda[10]、Bacula等产品。

3 云计算对传统备份技术带来的挑战

云计算技术在IT基础建设的引入,可减少硬件资源浪费,提高系统部署的速度,但也为备份带来了新的需求。

(1)虚拟机备份。在存储中为虚拟机分配的空间,以虚拟机文件格式方式如.vmdk存储,虚拟机操作系统文件、用户数据放置在这个vmdk文件中。如果按照传统备份方式,要备份虚拟机中的系统和用户数据,就需要在每台虚拟机中安装备份。这种方式在占用大量的存储资源的同时,发起备份时也会占用大量的计算资源,从而影响虚拟机性能。

(2)空白数据的空间占用。在分配虚拟机时,精简模式下的虚拟硬盘根据所需数据量的大小占用存储空间。虚拟硬盘空间随虚拟机数据量增加而变大后,在虚拟机中删除的数据并不会减少虚拟硬盘的空间大小,这样就造成大量空白数据占用了存储空间。如果对虚拟机的备份只是简单复制虚拟硬盘文件,就会出现备份中的有效数据少的问题。

(3)数据冗余程度高。在虚拟机中,往往安装大量相同的操作系统、应用程序,这部分数据高度相同,如果直接通过安装在每台虚拟机中的备份来备份数据,则会造成大量的冗余,浪费存储空间。

(4)备份颗粒度过大。通过虚拟化平台自带的虚拟化接口可以备份和恢复整台虚拟机,但往往需要备份的数据只是虚拟机中的部分用户数据,而不是完整的虚拟机。虚拟机级的颗粒度会拖慢备份恢复速度,消耗大量的存储空间。此外,这种方式也无法感知应用,难以保证数据的一致性。

基于上述情况,传统的备份方式已经不适应云计算时代的数据备份,亟需针对云计算的数据备份技术。

4 云计算环境的备份技术

4.1 基于云计算的备份技术

在云计算环境下,调用VMWare在数据存储方面的接口,可以有效地解决虚拟机的备份难题。

(1)无备份。VMWare开放了VADP(vStorage

APIs for Data Protection,用于数据保护的虚拟存储应用程序编程接口)的数据保护存储接口。备份软件调用VADP,即可与集成在vCenter中的vStorage for Data Protection模块通信,对每台虚拟机都实现不需要第三方备份的备份,从而减少备份对虚拟机计算资源的消耗。

(2)数据块修改跟踪。VMWare提供的VMKernel

级技术CBT(Change Block Tracking,数据块修改跟踪)可以判断在最后一次快照后是否有虚拟机数据块被修改,并标记被修改的数据。备份软件调用VADP接口,即可备份被修改的增量数据,而不需要对虚拟机文件做完全备份。

(3)文件级备份恢复。VMWare FLR(File Level Recovery,文件级恢复)提供了浏览和装载虚拟机备份数据的功能。通过备份软件,调用VADP的FLR功能,可以实现对虚拟机的文件级颗粒度管理,而不需要做虚拟机级别的备份。

(4)重复数据删除。传统的重复数据删除常使用固定数据块或者固定长度数据段等技术进行重删,但这种方式存在着即使数据集发生了非常小的改动,都会导致整个固定长度数据段的更改,从而不被识别为冗余数据。对于虚拟机的重复数据删除技术,常采用可变长度数据段。VMWare VDP(vSphere Data Protection,vSphere数据保护)技术能够分析数据集的二进制数据结构,确定数据段的边界,且适用于不同类型和体积的文件,从而实现智能化的重复数据删除。

(5)vCenter集成。备份软件以vCenter插件的形式集成到vCenter的管理界面中,方便vCenter管理员管理虚拟机的备份,而不需要到专门的备份软件中处理。

(6)应用感知。对于虚拟机中安装的SQL Server、

Exchange、SharePoint、Active Direct等应用系统,可以通过在这些应用所在的虚拟机中安装VDP客户端,即可实现来宾级细粒度的管理,从而实现对虚拟机中的应用感知。

4.2 重复数据删除

对VMWare vSphere虚拟化环境,使用重复数据删除技术,对其中的30台虚拟机总共1053GB容量的虚拟硬盘进行全备份。在自动识别并剔除空白空间后,需要备份的数据只剩下虚拟硬盘数据的76.5%。而在使用重复数据删除进行消重后,实际写入存储空间的数据只有源数据的29.4%,因此实际重删比为70.6%。重复数据删除技术可大大减少虚拟机备份所需要消耗的存储空间,具体如图2所示。

初次全备份需要数小时的时间。在虚拟机进行数据读写操作,增加少量用户数据,此时再做全备份,备份时间可缩短到数分钟。这是由于调用了VMWare的CBT技术,使备份数据仅为修改的部分数据,从而加快了备份速度,减少了网络流量和备份数据量。

5 结束语

本文研究了传统IT基础架构下的备份技术,包括操作系统、数据库和文件系统等3种主要备份对象,总结了利用自带工具、存储硬件、备份软件和备份一体机等常见备份方式,描述了备份软件的架构,并分析了传统备份方式在云计算时代遇到的问题。在此基础上,研究了云计算环境下的备份技术,并指出了无备份、数据块修改跟踪、文件级备份恢复、重复数据删除、vCenter集成、应用感知等关键技术。在实际虚拟化环境中,证明了重复数据删除和数据块修改跟踪等技术的有效性,为电信运营商在云计算环境下的数据备份提供了参考。

参考文献:

[1] 鲍明曦,朱源,邓丽华. MSS全网集中建设助推集约化运营[J]. 通信企业管理, 2013(12): 75.

[2] 田熙清,陈泳,胡颖茂. IT支撑系统技术架构的去电信化思考[J]. 移动通信, 2014(5): 68-74.

[3] 张效斌. 备份系统在云中心的部署与应用[J]. 电脑知识与技术, 2013(29): 6530-6532.

[4] 宫婷. 计算机数据库的备份与恢复技术研究[J]. 计算机光盘软件与应用, 2013(21): 155.

[5] 肖克辉. 文件系统备份中目录树处理算法设计与实现[D]. 广州: 中山大学, 2005.

[6] 张云帆. Oracle数据库备份与恢复策略[J]. 计算机工程, 2009(15): 85-87.

[7] 邬文轩,胡晓勤. 一种基于MySQL Innodb数据引擎的增备方法[J]. 计算机安全, 2013(5): 30-33.

[8] 杨宁. 基于B/S模式的Linux备份系统的设计与实现[D]. 广州: 中山大学, 2008.

相关期刊更多

计测技术

部级期刊 审核时间1个月内

中国航空工业集团公司

工程与试验

部级期刊 审核时间1个月内

中国机械工业集团有限公司

中国空间科学技术

北大期刊 审核时间1-3个月

中国航天科技集团有限公司