首页 > 文章中心 > 大数据时代的主要特征

大数据时代的主要特征

前言:想要写出一篇令人眼前一亮的文章吗?我们特意为您整理了5篇大数据时代的主要特征范文,相信会为您的写作带来帮助,发现更多的写作思路和灵感。

大数据时代的主要特征

大数据时代的主要特征范文第1篇

数据时代实质上指的是信息时代,因为大数据的大内涵指向为计算,数据则是指信息,也就是说,大数据从本质上来说就是一种关于信息的处理技术,其以计算为主要特征。同时,在大数据时代的背景之下需要理解大数据与云计算之间的关联性。因为在数据积累越来越多、处理需求越来越高的情况之下,只有依靠更为精密的计算器才能解决数据积累库存的问题。下面就以此为前提具体分析大数据时代背景下的计算机信息处理技术。

关键词:

大数据;计算机;信息处理技术

当前,人类的认识已确定了以“关系”作为解释万事万物的基本事实,并且认为在人类社会中,只有有效处理人与人、人与物之间的信息交流问题,令其实现快速化、精准化的对接才能较好促进人类社会的演进与发展。因此,在这种较为进步的理念基础上,目前的计算机信息处理技术应作为工具、方法、意图而为人类走出困境及可持续发展发挥更大的作用。

1大数据特征及影响

大数据的特征主要体现在三大方面,分别是数据量、存储空间、处理速度。因而在计算机处理信息时,需要鉴别区分数据种类,如区分文字、图片、视频、网页格局此类信息就有助于提高处理的便利性。根据现有社会结构中起作用的企业集团观察,大数据的影响主要是令原来的制造生产“6+1”产业链转变为“4+1”。比如,传统的制造业生产中要求根据产品设计、原料运输、生产加工、订单处理、市场营销、零售六大环节进行按部就班地生产制造,而运用大数据之后就可以较好打破这种产业链的“程序”,从而实现重新排列组合。比如,当建立大数据平台之后,就可以较好利用数据信息,网络平台首先以“订单处理”作为主要切入口,然后压缩其中的环节,提高生产效率,实现零库存,最终实现订单处理、生产设计、原料运输、生产加工的新型产业链闭环。也就是说,通过运用大数据方法,能够有效按照信息采集、数据分析、文字表述等步骤,较好实现以消费者为主导的制造生产计划,令市场经济环境下的企业运作更具有计划性、可控制性,既有利于资源的合理配置,也能够为企业的发展提供理性规划选择。

2计算机处理技术分析

计算机数据处理技术中包括以信息为主要处理对象的获取、传输、加工、存储、感知、安全、发展、问题。具体如下。

2.1获取-加工-传输

计算机信息处理技术以互联网作为基础,由于它的交互属性,因而在整体上要完成的是一种数据信息的传达—处理—接收过程。其中处理部分是计算机信息处理技术发挥重要作用的领域。比如,以搜索为例,在引擎中消费者或用户往往需要通过“关键词”检索自己所需的“相关信息”,因此,计算机信息处理在这个方面就需要提前分类与处理信息。(1)从获取信息的层面观察,手段的合理性非常重要,其中要求设置一个具有实时性的监控机制,以此达到及时存储处理、垃圾处理,其目的在于提高软件操作效率,有效实现数据处理的合理化。(2)从处理信息的角度观察,其中的处理主要是以交互性为前提,从处理信息本身、用户需求两个方向考虑实施数据信息的“加工”,通常要求按照性质、功能、学科、“热冷”(使用频率)等进行科学分类,以此为使用者提供便利。(3)从传输的角度分析,其主要是通过信息平成,其中的传输要求计算机处理技术为其提供安全性、可控制性。

2.2存储-感知-安全

大数据的数量积累决定了在其在存储方面的困难及占用空间的无限扩展,因此,除了实时存储、清除之外,最重要的是发展一种新的技术,令存储能够更为安全、高效集中。比如,DEEPWEB数据感知技术、安全技术就可以为其保驾护航。(1)时代背景决定了大数据积累库存量的持续增长、快速增长,因此,在信息处理过程中要求以这种增速作为主要特征,运用一系列技术手段,更为安全、快速地完成处理,具体要求提高处理效率。从存储信息的手段实现观察,应以分类原则为基础,尽量从结构形式进行数据的高效化存储。(2)感知重点集中于DEEPWEB数据感知,其中主要的内容指的是将其与获取技术进行结合,利用网络深层空间技术实现数据信息抽取、分析,其处理过程以动态化的数据访问作为整理手段,集合效率较高。(3)在数据信息的安全技术处理层面观察,要求从多个层面着手,包括重点数据的检测、信息技术产品的开发、计算机信息安全体系的建构等。根据现阶段的安全防护要求分析,应注重操作人员、计算机信息处理人员的共同努力,如操作者或用户应注重应用时的安全性,降低危险发生的可能性。计算机信息处理技术人员则应尽量过滤、禁止危险信息。

2.3发展-问题

信息技术推动互联网发展的过程中,显著的特点在于易变性,因此,在实践过程中要求计算机信息处理技术的主体能够拥有一个动态化的发展理念,始终站在发展的前沿为用户的使用提供便利。下面先说明发展的基本方向为向云计算网络转化发展,然后指出当前计算机信息处理技术分析中不可忽视的两大难题。(1)计算机所处的网络环境因其本身的属性、局限性决定了它的硬件的使用范围,同时要求实现计算机网络向云计算机网络的转换,尤其是在当前数据越来越多的情况下,其发展理念趋向于网络数据、计算机硬件之间的分离,并以此达到转化目的。(2)第一个问题是作为工具的“双刃性”。计算机信息处理的基本面集中于网络之中,而这种以“符号系统”构建起来的语言编程往往由于工具使用主体的多元性而使作为工具的计算机信息处理技术具有“双刃性”。第二个问题是数据信息的“无用化”。作为知识的数据信息第一次发生质的飞跃是由于印刷术的推动,最近一次根本性的转变则主要是依赖于信息技术。当前在大数据的时代背景之下,云计算的发展成为了必要条件,只有研发一系列计算软件才能真正应对当前的大数据时代。在这个方面机器优于人,但人类与信息处理之间脱离却产生了一个重要的后果,即数据信息的无用化,比如,碎片化信息、海量集中信息中的选择性决定了威廉姆斯所说的“传播的控制性”,所以在这种情况下,数据信息作为一种处理对象、传播对象,它更多是在一种选择之中完成“单向供应”。

3结语

大数据时代背景下的计算机信息处理技术相对复杂,专业化程度高、处理技术难度大,人脑处理的方式已很难适应目前所面临的大数据,因此,应注重对于云计算网络的研究、引入、运用,以此实现大数据处理的“机器化”。根据现阶段的发展状况观察,建议在计算机信息处理技术方面增加技术研发投入,同时,尽量开发数据处理针对性较强的专业化软件,较好应对大数据时代,以及所带来的挑战。

参考文献

[1]杨洁.办公自动化中计算机信息处理技术的应用探析[J].科技资讯,2016(16).

[2]陈成业.关于大数据与计算机信息处理技术的发展辨析[J].信息系统工程,2016(5).

大数据时代的主要特征范文第2篇

关键词:大数据;知识服务;内涵;特征

中图分类号:TP311.13 文献标志码:A 文章编号:1673-291X(2014)17-0049-02

大数据时代的到来,使得社会各个领域都面临着一场革命。新一轮信息化的浪潮已然随着硬件的高速革新和软件的高度智能化无法抗拒地推到了我们面前。然而没有数据的留存和深度挖掘,信息化只能流于形式。大数据知识服务是在大数据时展过程中,为适应信息服务业智慧化、协作化、绿色化等发展趋势而产生的一种基于网络,用以解决数据多维度处理的信息服务新模式,是嵌入式协作化知识服务模式的一种新发展,是现代信息服务理念的具体体现。对大数据知识,无论从其服务的内涵,还是其内在特征,都需要我们高度关注,进行深入研究和认识。

一、大数据知识服务的内涵

为了更好地应对大数据的发展带来的一场新革命,更好地把握和运用好大数据,确保在未来的竞争中获得更多主动权,首先需要弄清大数据知识服务的内涵及其相关的概念。

(一)大数据知识服务中的“数据”与“数字” 不是同一概念

这里所讲的“数据”与“数字”是两个概念。在线教育和数字化校园应该只是数字,网络是能够传输数字的,而数据的集中,是需要物联网、云等综合技术的成熟。仅仅是一个数字,那是结果,几乎没有意义,很容易造成事情简单化。而数据,是过程性和综合的考虑,更能够考量真实世界背后的逻辑关系。由此可见,“数字”与“数据”是有不同区别的。比如,一个学生考试得了78分,这只是一个数字,而如果把这个学生的78分背后的非结构化的诸元数据考虑进去,包括学生的家庭、努力程度、学习态度、智力水平等的所有数据进行统筹考虑,包含78分一起,就可以成为一种数据。

(二)大数据知识服务内涵的表述及其要点

大数据知识服务是为适应信息服务业智慧化、协作化、绿色化、先觉化和泛在化的发展趋势而产生的一种基于网络的,用以解决结构化、半结构化及非结构化数据多维度处理的信息服务新模式,是嵌入式协作化知识服务模式的一种新发展,是现代信息服务理念的具体体现。大数据知识服务内涵展现了3个要点。

一是大数据是指那些大小已经超出了传统意义上的尺度,一般的软件工具难以捕捉、管理和分析的大容量数据,一般以“以太节”为单位。大数据之大,并不仅仅在于容量之大,更大的意义在于通过对海量数据的交换、整合和分析,发现新的知识,创造新的价值,带来“大知识”。

二是大数据知识服务模式强调有机融合和智能控制。大数据知识服务模式强调知识、能力、资源和过程以服务的形式进行有机融合,并基于网络自由流通,实现大数据知识服务体系中的知识动态协调构建、能力智慧管理、资源按需使用、过程智能控制。

三是大数据知识服务体系是大数据生态系统中最重要和核心的内容之一。一方面,全球将近87.5%的数据未得到真正利用,85%以上的是非结构化数据和半结构化数据,传统知识服务模式仅仅能够提供极小部分数据给用户有效地使用,并且能提供的数据处理服务也极其有限。通过大数据知识服务模式的引入,可使得复杂的结构化、半结构化和非结构化数据处理变得可行和经济高效,从而实现知识横向扩展以满足急剧扩张的知识服务需求。另一方面,为满足用户专业化、集成化、敏捷化和个性化的知识服务需求,需要大数据知识服务平台提供高质量、低成本、可扩展、多维度和多粒度的知识服务。

二、大数据时代知识服务的主要特征

与已有的信息服务模式相比,大数据时代的知识服务模式和构建过程,越来越趋向于个性化、自主化、虚拟化、智能化、透明化和体验化,知识创造模式、组织模式、传播模式和应用模式也呈现出规模化、集约化、数字化和网络化的趋势,在数字化、网络化、规模化和集约化等共性技术特征的基础上,大数据知识服务模式的主要特征可以概括为以下几点。

(一)大数据知识服务是面向智慧和自主需求的知识服务

大数据知识服务模式实现的核心是知识服务全生命周期活动中用户、技术、管理、知识、能力、资源和过程的有机集成和优化。为此,大数据知识服务体系融合了物联网、传感网、云计算、可信计算和信息物理融合系统等新兴信息技术,提出要实现大数据用户、技术、管理、知识、能力、资源和过程的全方位、全生命周期地接入和感知,尤其是关注资源,如软硬件资源、信息资源、网络资源、服务资源等,包括半结构化、非结构化和结构化数据,关注能力,如大数据获取、存储、组织、分析、决策和显示等的接入和智能感知。

在大数据知识服务模式下,各类资源能够通过各种传感器、适配器、人机交互等实现资源半自动或全自动感知,然后借助3G或4G网络、互联网络、电信网、广播电视网等传输信息,在对各类资源进行管理和处理的基础上,汇集资源、能力、过程、知识,构建跨领域、跨行业、智能的多学科知识库。随着大数据知识服务体系的持续进化并不断扩大,从而进一步服务于大数据知识服务的业务执行过程。

(二)大数据知识服务是强调用户参与的知识服务

大数据的数据来源、知识服务能力、服务资源、服务过程及知识本身都是嵌入到网络和大数据环境中的,且所有大数据主要都是来自于大数据用户,使得大数据知识服务关注的重心应该转移或回归到用户自身的需求。大数据生态系统致力于构建一个用户、大数据制造方、大数据运营方及大数据处理方等可以充分进行大数据获取、存储、组织、分析和决策的公用服务环境。在大数据知识服务模式下,强调用户参与不仅仅局限于传统的用户提出需求和用户评价,而是渗透到大数据知识服务过程及大数据自身全生命周期管理的每一个环节。

(三)大数据知识服务是支持按需使用、按需付费的知识服务模式

大数据知识服务是一种由用户需求驱动的、按需付费的知识服务新模式。用户往往需要通过海量非结构化、半结构化数据了解现在发生了什么,甚至需要利用数据预测未来将要发生什么,以便在行动上做出利于发展的主动准备。例如,通过预测用户的流失预先采取行动,或预测竞争对手下一步行动以便采取主动等。在这些过程中,用户不需要过多关注大数据处理的细节,只需要根据自身的数据处理需求调用或知识服务组合,占用大数据知识服务资源,并支付相应的费用即可。彼此之间的关系是一种按需使用、按需付费、用完即解散的关系。

(四)大数据知识服务是共性技术目标与异性技术特征相辅相成的知识服务模式

大数据知识服务通过第三方构建服务平台,将大数据获取、存储、组织、分析和决策过程中所涉及的所有资源、知识、能力及过程都虚拟化为大单项数据知识服务,再聚合成大数据知识服务虚拟资源池,进行统一的管理与处理。针对不同的行业、领域或不同需求,大数据的获取、存储、组织、分析和决策的管理和处理方法有共性,但必然也存在着异性,因此,针对不同行业、领域及大数据处理需求,就需要在原有共性技术体系的基础上,形成专业性较强的专业化大数据知识服务体系,从而针对独特的专业化要求,形成其独有的大数据异性技术体系。以美国国防部高级研究计划局为例,其大数据研究项目在美国政府的大数据研究与发展的共性技术目标要求之外,具备了国防部独有的技术特征;但在国防部内部又依据不同领域的大数据处理需求,形成了具备异性技术特征的大数据知识服务体系。

(五)大数据知识服务是基于知识、能力、资源、过程共享和交易的知识服务模式

与传统的知识服务模式相比,大数据知识服务模式共享的不仅仅是服务资源,还有知识、能力及服务过程。随着大数据时代的来临,对大数据获取、存储、组织、分析和决策过程进行管理的基本策略不是移动数据,而是将计算、知识及服务推向数据,在相应的知识库、专家库、数据处理模型、数据处理框架的支持下,实现资源、知识、能力及过程的虚拟化封装、描述、、配置、调用和显示,真正实现大数据获取、存储、组织、分析和决策过程中的知识、能力、资源、过程的全面共享和交易。

(六)大数据知识服务是基于群体创新的知识服务模式

正如美国国家科学基金会(NSF)的大数据研究和发展计划所言,大数据知识服务旨在促进管理、分析、可视化和从大量多样分散异构的数据集中提取有用信息,并充分利用群体创新的力量,创造有意义的网络基础设施以及一体化水平的数据和工具,以支持科学和教育。

(七)大数据知识服务是更为绿色环保的知识服务模式

大数据知识服务的目标之一是围绕结构化、半结构化及非结构化大数据处理需求,实现大数据获取、存储、组织、分析和决策过程中的知识、能力、资源和过程等的全面共享,提高大数据的利用率,实现数据、知识及服务增值。换句话说,就是实现绿色低碳的环保型大数据知识服务模式。

参考文献:

[1] 张晓林.研究图书馆2020:嵌入式协作化知识实验室[J].中国图书馆学报,2012,(1):11-19.

大数据时代的主要特征范文第3篇

关键词: 数字音乐;传播模型;大数据;云存储

0 引言

大数据时代的来临极大地改变了整个人类社会,为我们的生活带来了全方位的革新,包括传播技术和模式。作为对传播技术高度依赖的音乐产业,是率先深受大数据时代传播技术革命影响的领域之一。

音乐不仅是艺术品,也是在个层次受众中广泛传播和消费的文化消费品。因此,音乐作为一种特殊形式的商品,有着巨大的市场需求空间。在社会发展的的不同历史时期,随着技术的发展,音乐承载形式一直在进化。事实上数字音乐并不是一个新兴产物,其存在和发展已经有几十年了。但是,在大数据和云计算成为主流信息处理技术的新时代,数字音乐的传播亟待新的传播模型。

1 大数据的特征

大数据首先意味着数据量极为庞大。2011年5月麦肯锡全球研究中心将“大数据”定义为“数据的量超过典型数据库软件工具撷取、存储、管理和分析能力的数据”。这个定义还不够全面。更准确的说,大数据意味着从各个方面全方位尽可能多的收集不同的变量,用以描述人、事、物以及现象的各种特征。面对不断增长的记录这些变量的需要,撷取数据的数量也相应的快速增长,因此数据库容量越来越大,最终接近无限大。处理如此海量的数据需要新技术和模型进行存储、计算和传输,从而带给我们很多意想不到的应用。大数据的主要特征可概括为:①海量与数字化:所有的数据均以数字化的形式存在。(姚远,2013)。②云存储:通俗地说,云存储是指通过网络技术将数据存放在远端虚拟空间中。③基于数据总体的计算:传统统计学通常采用抽样统计的方法。而在大数据时代,我们是通过分析与话题相关的全部已有数据来分析事物之间的联系。④智能应用:当数据总量大到一定程度时,隐藏在数据背后的事物的其他特征就会显现出来,就可以发现事物之间更多的联系。这些发现可以衍生许多智能应用。

2 数字音乐的数据化与云存储

数字化并不意味着数据化。将一个对象数据化就是将其置身于量化形式,可以制成表格并加以分析。这与数字化大相径庭,数字化仅仅是将相似信息进行二进制编码处理供计算机处理。

从二十世纪九十年代起,人们就开始用数字化的形式记录和传播音乐作品(冯毅,2008)。但在大数据时代,仅靠对音乐内容的数字化处理方式远远不能满足有效的传播音乐需求,还需要更加便于管理和计算的传播方式,即数据化。

采用知识本体论方法将音乐作品数据化不失为一种行之有效的方法。我们在之前的研究中已经构建了音乐领域知识本体,其中定义了5个子本体描述上级概念结构,分别是音乐事件、音乐作品、音乐人物、音乐地点、音乐技术。在这些子知识本体中,通过定义子类的概念、特征以及各类别和实例之间的关系,我们建立了一个完整的系统描述音乐的各项特征。(杨立,2011)

作为新型的网络个人应用,一些数据服务供应商开始提供音乐云服务。数据服务提供商提供设备和服务,允许用户建立个人音乐库,在设备间同步更新音乐和向台式电脑、笔记本、平板、智能手机和其他的数码播放器等传递音乐。

这些音乐云偏向于私有云,主要针对个人客户。这种云存储模式对于数字音乐传播的有效性还远远不够。我们需要一个更加开放的平台和机制,允许所有在传播链上的参与者都能在版权法的保护下合法地分享他们的作品、产品和服务。

3 数字音乐传播链上的参与者

这里所说的参与者指的是在数字音乐传播链涉及的所有的个人或组织。他们共同组成了如下传播链:音乐制作者指音乐作品内容最初的创作者,包括作曲家、歌词作者和表演者。音乐要想突破时间和空间的限制进行传播,首先就需要将音乐记录下来进行处理,因此我们需要音乐内容处理者,包括:录音棚、演出机构和数据处理商。数字音乐内容供应商拥有自己特殊的传播渠道或者营销网络,通常和网络运营商或云服务提供商关系密切。他们提供在线数字音乐交易平台,在数字音乐的传播发挥着重要作用。此外,还需要云服务提供商提供包括存储、搜索、上传、分享,甚至是交易的公有或者私有数字音乐云服务。除此之外,还需要网络运营商为传播链上所有参与者提供网络连接服务。数字音乐可预装载诸如MP3播放器、手机等设备中捆绑式销售,因此这些相关硬件生产商也与数字音乐传播直接相关。传播链的终端端是数字音乐消费者,包括个人消费者、公众媒体和娱乐行业。

4 数字音乐传播模型

数字音乐传播涉及三个层次,分别是制作层、存储层和交易服务层。如图2所示。

①制作层:制作层描述数字音乐作品由最初创作到最终数据化的过程。②存储层:为了更为便利和有效的传播,数字音乐作品基本储存在云端。经过第一层次的数据化过程,数字音乐实现转化,储存在不同的云端中。③交易服务层,即为用户服务层,数字音乐交易发生在该层次。该层次可为电子商务平台,在符合版权保护的前提下,允许混合电子商务模型B2C,C2C,B2B和O2O等。

5 结语

数字音乐作为一种特殊的信息产品,消费十分广泛。不同与实物产品和虚拟产品,数字音乐介于两者之间。音乐创作过程是物理过程,但是最终制作和传播可以彻底数字化。一个适合的传播模型对整个产业的发展是大有裨益的,值得深入研究。限于篇幅,本文呈现的模型仅仅是一个框架,更多细节问题,比如技术、运作策略以及产业链等有待将进一步深入研究。

参考文献:

[1]冯毅.音乐的革命:从电子音乐到数字音乐[J].艺术评论,2008,10:59,70-74.

大数据时代的主要特征范文第4篇

前不久,中国联通携手国内主要4K设备制造商、服务商及内容商共同成立“4G超清产业联盟”,更加明确4K作为视频流媒体发展的必然趋势。在技术、终端、带宽等硬件条件已经越来越成熟,用户对高品质视频体验不断追求的今天,视频业务已经成为继语音、短信、数据之后主要的电信基础业务。

中兴通讯多媒体视讯产品线总经理华新海在接受《通信产业报》(网)记者采访时表示,随着固定与移动宽带的发展,在高清视频成为必然需求的形势下,4K的发展会不断加速,IPTV高清业务必将成为运营商的主战场之一。

4K拉开竞争大幕

在“提速降费工作推进会暨4K超清产业联盟成立仪式”上,中国联通透露2016年计划新发展IPTV业务用户1000万,同时提出在2016年,IPTV宽带渗透率的目标为30%,并计划在未来三年提升为52%。

面对如此充盈的市场空间,如果说“4G超清产业联盟”的成立吹响了中国联通IPTV业务大战略的号角,那么,中国电信和中国移动此前公布的集采计划充分透露了在超高清视频时代的流量挑战下,三大运营商布局IPTV高清业务的态度和决心。

中国电信目前已经拥有约1.3亿户宽带用户,同时拥有IPTV用户近4000万户,渗透率为30%左右,在三大运营商中居于前列。在已经正式启动的中国电信集团2016年IPTV智能机顶盒首次集采项目中,采购数量达到1112.53万台。如此算来,在这1100万台的集采后,预计2016年底中国电信IPTV用户将突破5000万户。

对于在家庭固网接入上起步较晚的中国移动而言,IPTV高清业务无疑是其加速追赶的最佳契机。据之前披露的信息,2016年中国移动互联网电视机顶盒集采规模约为1069万台,其中含杜比配置约123万台、不含杜比配置约946万台,采购预估金额为21.5亿元。

可见,三大电信运营商都将IPTV高清业务作为争夺的重点,同时逐渐明确其IPTV业务发展的方向:整合固移优势,强化管道能力,打造端到端的4K电信业务模式,加强在整个生态链中的掌控力和主导地位。

IPTV+演进趋势

在IPTV高清业务发展的热潮下,以开放与智慧为主要特征的、全新的大视频IPTV生态圈正在形成,中兴通讯将其称为由IPTV向IPTV+的发展演进。

在变革的过程中,运营商在视频业务的网络与技术方面有天然优势。中兴通讯认为,以“大内容、大网络、大数据和大生态”为主要特征的大视频时代,运营商要实现流量价值的升级,需要解决的核心问题不仅是如何解决平台的封闭性以适应大视频业务的转型,还包括如何提升创新能力以提供更新颖、更有竞争力的业务。

因此,运营商大视频业务平台的变革方向需要从系统架构、宽带智能管道、能力开放以及用户体验等四个方面着手,以此来实现构建满足4K视频到家庭,高清视频到移动的极致视频体验的精品网络的目标。

其中,视频业务系统架构调整与视频管道的智能化是大视频变革的重要条件。通过开放的视频能力平台架构,才能聚合多厂商提供的业务和应用,实现合作共赢。此外,为了提升用户体验,新一代视频网络需要能够随时保证为用户提供高质量的视频服务,也要洞察用户的喜好,为用户量身定制所需要的视频服务,这就需要将大数据技术应用到新一代的视频网络中。

引领大视频变革

基于这些认识,中兴通讯提出大视频IPTV+解决方案,结合其在基础网络、内容分发平台、视频内容平台、大数据分析平台、智能终端等方面的积累和优势引领大视频变革。

在中兴通讯大视频IPTV+解决方案中,通过优化传统IPTV/OTT相对固化的系统架构,中兴通讯提出打造云化视频网络来实现包括业务能力的开放、CDN能力的开放以及终端能力的开放性在内的平台能力的开放性,从而对外提供组件化的服务;通过部署融合CDN来实现视频管道的智能化。据介绍,融合CDN支持IPTV、OTT、cache等业务,包括固移一体化、多种业务的融合支持,并结合SDN对智能管道的支持;在可视化运维方面,支持对设备运行、业务量监测以及全网服务质量的评估与分析,提供端到端的主动运维;在大数据运营方面,提供基于用户画像的精准营销,采用大数据技术实现用户画像,基于用户画像实现智能广告、智能推荐、个性化套餐运营等,提升用户的使用量。

此外,中兴通讯还具备全系列高性能的4K机顶盒产品实现终端的智能化,支持云和端的协同业务,支持多终端互动,进一步提升用户体验。

大数据时代的主要特征范文第5篇

关键词:大数据;网格服务;大数据资源

中图分类号:TP311 文献标识码:A 文章编号:1009-3044(2016)07-0014-02

随着大数据时代的到来,各种应用数据存储的不断增大。在生物计算、天文研究、天气预报等科学研究领域,涉及的文件数量甚至达到TB或者PB量级,如何减少访问时间和提高访问的效率,在普通网络环境下对同时具有海量的数据规模、迅捷的数据传输、复杂多样的数据类型和价值密度低为主要特征的大数据进行访问、并集成到应用工作流变成一种不堪重负的包袱。当要使用分析这些Big Data Source时,用来进行数据查询、访问和集成的数据结构机制不再适应现实工作的需要,出现了一些应用系统一直处于超负荷状态,数据信息之间的交换和硬件资源的共享也存在缺陷,有些软件和硬件资源得不到有效的应用。本文通过设计新型层次结构模型和访问通道,较好的屏蔽底层计算处理的复杂性,更好的实现对大数据、海量数据的快速访问和存储。

1 构建网格环境下的数据库系统

网格[3]是作为当今信息社会最基本的一种基础网络设施,能把物理上分散在不同区域的服务器联合成一个抽象的整体,并转化成一种随手可得、统一标准,并且经济上可行的能力。它支持身份授权识别、多数据资源的分配共享、进程动态调度。

构建在网格中应用数据库系统[1],需要设计提供一个中间件,各种不同的应用管理系统包装成不同的Grid Service[1],方便网格应用存取网格数据库,并根据数据的访问标准,设计出统一调度使用的数据接口(Data Interface),提供用统一方式来命名的关系数据库、XML数据库和文件数据库中数据资源,提高了数据库访问的速度和效率。

2 数据访问方式的新型层次结构方案设计

从系统应用的角度来看,网格环境下的大数据资源共享由网格数据服务(Grid Data Service)[1]为基础,最底层由SQL Server、Oracle、计算机等网络硬件资源,第二层由相关各种应用系统数据库、文件系统等数据资源组成;第三层是实现海量大数据资源共享功能的关键,该层对外提供的服务,都是由上一层GDS接口来对外。第四层是资源服务层及汇集层,能提供网格数据服务(Grid Data Service,GDS)[3]、网格数据仲裁服务(Grid Data Mediation Service,GDMS)[3] 、网格虚拟数据服务(Grid Virtual Data Service,GVDS)[3]及副本选择,第五层应用层为用户提供高级的抽象服务,实现大数据资源的共享和查询,具体的网格环境下大数据访问方式服务模型如下。

1)构造层:新型层次结构的最底层是以SQL Server、Oracle、计算机等位基本组成元素,为数据快速访问提供物理资源保证。

2)资源层:该层由各种Application System Database和File System等组成,这些Big Data Resource都统一定位为抽象资源,具有独立、不同形式的访问方式。

3)接口层:该层主要是对各种访问Grid Servers接口进行描述,为用户提供统一的访问的大数据资源(Big Data Resource)接口,它包括各种不同应用系统提供的接口。

4)资源管理服务层:本层功能是管理多个BDR,提供数据访问和副本管理功能。包括GDS、网格数据仲裁服务(Grid Data Mediation Service,GDMS)[3],网格虚拟数据服务(Grid Virtual Data Service,GVDS)[2-3]。

5)用户应用层:第五层是与BDR共享应用最为密切相关的一层,其核心作用是为客户端提供更高级的抽象服务,并且根据客户端需求,通过GDS接口层向网格服务层提出查询请求,查询到满足请求的结果并返给客户端,更好的实现数据资源及相关数据资源间查询和共享。

3 访问速度提高解决方案

为了实现对BDR透明、开发的管理,快速访问数据资源接口,每次运行都需要不断地重复读取和连接BDR,造成用户要访问该BDR时,虽然BDR空闲然而数据连接却经济被占用,造成了BDR 已经被使用的现象,影响了整个数据库的服务和运行性能,形成了BDR访问效率不高的现象,这个问题可以通过Cache technology得到有效的解决。

在绝大多数不相同技术环境条件下,BDR的用尽,并不是由于应用的正常负载过高,而是在于其他不同数据库应用系统使用共同一个资源的原因。在BDR之间的传递和共享过程中,BDR大部分是主要环节资源,各种不同的应用系统都会使用相同的BDR,假设某个应用用光了全部的BDR后,意味着其他的应用程序也无法有效的进行工作。在现在的OGSA-DAI数据存取和集成(Open Grid Services Architecture-Data Access and Integration)[1,3]集成中间件中,并没有设置对不同数据库进行连接和访问的缓冲区,只提供了对关系型数据库和XML数据库的直接连接接口。在OGSA-DAI集成中间件[2]在网格数据服务组件支持下实现对BDR的控制,如果我们在Grid Data Service的读取数据端建立一条访问通道,就可以实现对BDR的控制,并有效提升访问的速度和利用空闲的数据资源。具体方法如下:

1)我们通过继续保留使用原来Grid service访问数据源的通道。

2)在获取该BDR的通道上,我们需要开辟一条虚拟的指向数据连接缓存的通道。

3)连接缓存区一边指向BDR服务,一边指向其他不同的Physical Data Resource。

4)我们设计的通道间构成“并联”的关系,能有效提升访问速度。

5)访问不同数据源时,可首先访问Data source connection cache,只有当缓存池中“数据连接”查询不到或者不存在时,才能直接查找Application DB信息。

6)对BDR数据访问结束后,保存数据连接并进入缓冲池,以获取对缓存池中短时间没有运行过或刚刚被关闭的BDR的访问,通过这种访问方式,极大提升了对BDR使用效率,访问方式如下图所示:

4 发展展望

网格环境下对大数据存储、管理和分析存在诸多挑战,其中大数据存储和访问已成为数据研究的热点方向之一。如何在网格环境下,提升大数据访问的速度和准备高效的应用分析能力是数据管理的关键问题。本文针对大数据进行分析,提出了一种新型的层次结构模型和数据访问速度提升的方法,提升强大的海量数据处理能力,有效解决数据庞大、数据不精确带来的诸多问题。

参考文献:

[1] 李明. 网格中机构代码数据访问方式的研究与实现[D]. 东营: 中国石油大学, 2010.