前言:想要写出一篇令人眼前一亮的文章吗?我们特意为您整理了5篇大数据时代的含义范文,相信会为您的写作带来帮助,发现更多的写作思路和灵感。
关键词:大数据;统计;统计工作
中图分类号:C81 文献识别码:A 文章编号:1001-828X(2016)009-0000-01
前言
伴随着我国经济水平的提高,计算机、网络信息技术的不断发展和高速普及。大数据时代的到来,给世界的各个行业的统计工作带来了挑战。大数据时代的海量数据不仅数据类型和来源形式都区别于传统统计工作中的数据类型和形式,而且其数据的新型模式也给世界的各行业的统计工作带来了发展的机会。由此,本文笔者针对大数据时代对我国的统计工作带来的影响,提出了相应的意见,并作出如下论述:
一、大数据的含义和特征
(一)大数据的含义
最早的IT行业的相关数据库领域提出了有关大数据的相关概念,其认为大数据是指其数据量的额度很大以及数据的来源形式和结构都是多样化的,其处理方式需要新型模式的处理系统,才能使整个海量多样化的数据信息资产具有强大的决策力和洞察力。从传统的数据的分类来看,“大数据”是指大量的数据信息无法应用传统的工具和流程进行处理和分析。到目前为止,还没有权威的机构对大数据进行科学规范的定义,但是大数据时代的到来对社会的各个行业的统计工作和流程产生了强烈的冲击。
(二)大数据的特征
1.数据的巨大容量
数据的级别发生跨级,由TB级别直接升级到PB级别。大数据的海量的额度是传统的统计容量不可比拟的。据相关的数据显示,近几年,世界的整体信息量的储存的速度要快于世界经济的发展速度。计算机的信息数据的处理速度则快于世界的经济发展速度。
2.数据的多样类型
数据的来源形式和数据结构类型都具有多样性。互联网技术的高速发展,网络的普遍应用,使网络视频和图片等数据信息每天以高速的存储速度进行储存,但是用户无法全面有效应用这些数据。
3.数据的价值的密度低
海量的数据其内容量巨大,但其应用的价值并不是全部的数据内容,而是其中的一小部分,例如:公交车的车内录像,每天都进行着了大量的信息记载,但是,车内出现打闹现象。其车内录像的相关视频所提供的有价值的信息就是大量的视频数据中的仅一两秒与打闹信息相关的数据内容。
4.数据的处理速度快
大数据时代的数据处理挖掘技术与传统的区别很大,其数据的来源和承载方式是不同的,例如:电脑、手机、互联网等,这些载体的处理模式和方式与传统的方式有很大程度的不同[1]。
二、大数据时代对统计工作的影响
(一)大数据时代对经济统计的影响
首先,大数据时代的到来,改变了数据的收集方式。传统的数据收集方法是进行普查、问卷调查和抽样调查等。面对当今海量的数据形势,传统的数据收集方法已经无法满足客户对数据的收集速度和数量的要求。这就促使了数据的收集和处理方式的转变。使数据的处理模式能够适应当前的海量的数据形势。其次,数据的分析模式发生了改变。传统的数据在收集之后,进行随机的抽样分析。大数据时代的来临,抽样的分析模式已经无法适应时代对数据的准确性的要求。海量数据进行分析的系统模式逐渐形成了全数据的分析模式,使其准确性和时效性得到了很大的提高。最后,数据之间的因果关系淡化。传统的少量数据中存在着明显的因果关系,而大数据时代的到来,数据之间的因果关系淡化,需要用户在进行数据的分析时关注数据的相关的信息关系,从而实现数据的价值化[2]。
(二)大数据时代对政府统计的影响
1.扩大了居民消费价格调查统计的范围
我国传统的居民消费价格(CPI)的调查主要进行的是实体店,例如:超市、购物中心等服务消费场所的消费价格的调查。由于,近几年,网上购物和电子商务的相继产生和发展,居民的消费渠道增多,使其市场价格的统计范围扩大。仍以传统的统计模式则无法满足当前的发展形势需要。传统的CPI的统计数据具有一定的滞后性,采取新形式的大数据的技术能够提高CPI统计数据的时效性和质量。
2.改变了传统的人口统计模式
我国的人口量一直居世界首位,传统的人口普查是通过入户调查、填写问卷等形式进行相关数据的储存。近几年,人口流动的速度较大,其传统的统计模式已经无法满足当今社会人口流速快的要求。利用大数据统计模式,能够高效的进行全国的人口统计。
三、大数据背景下的统计发展的对策
(一)建立大数据统计科学的机构体系
统计的相关部门依据互联网技术的高速发展,建立大数据在收集、整理和分析这三个步骤相对应的科学系统的机构体系。数据的收集要以建立大数据多样结构化的信息积累为基础,对数据内容和数据间的关联性和匹配性进行整合和分析。使统计工作在大数据时代的背景下能够更加的具有客观性和权威性。
(二)建立统计信息资源的分享平台
互联网电子信息技术的高速发展,海量的信息数据在互联网平台进行分享。但是,企业和政府之间的数据信息是没有分享平台的。大数据时代的到来,要全方位的打破传统的信息隔离状态,实现大数据时代的数据价值。政府机构需要构建可以进行海量数据分享、存储的安全平台,使全国跨地区和跨层级都可以在这个大数据的统计信息交流平台进行信息的传送和整理,实现大数据时代海量数据的应用性[3]。
四、结论
随着全球互联网技术的发展,大数据时代的悄然而至。为我国的统计工作的发展带来了机遇和挑战。我国要利用高速发展的电子信息技术,构建大数据时代的统计数据信息的科学体系,促进我国统计工作的高速发展。本文笔者希望通过对大数据背景下统计发展的相关内容的论述,能为统计工作者提供借鉴。
参考文献:
[1]程开明,庄燕杰.大数据背景下的统计――第十七次全国统计科学讨论会综述[J].统计研究,2014,08(01):106-112.
关键词:大数据时代 大数据理解
1大数据时代概念的提出
当前,大数据这一词汇在各行各业中出现的频率越来越高,各种媒体中也经常对这大数据这一概念进行推广,大数据时代逐渐成为了一个社会热词,昭示着大数据时代的来临。
在学界中,大数据的理论思考与实践探索一直在如火如荼的济宁这,并与经济市场,政府机关形成了良好的合作与互相支持的模式。大数据时代的来临与当前互联网时代的建设基础和发展迅速的信息技术具有重要联系,早在上个世纪末就有了关于大数据时代的理论雏形,对整合所有数据并对数据进行加工,分析,处理提出设想。这一设想的提出与同一时期的“商业智能”的具有密切的联系,所谓商业智能也是指建立数据仓库的基础上挖掘数据的深度含义,分析数据从而挖掘出数据之间的内部联系性,从而获取文化公司所需要的信息,为文化公司的发展提供决策思路和数据支持。
直到世纪,信息技术的发展导致各种数据统计工作的便捷与高效性,人们逐渐发现了进行大规模数据分析和研究对文化公司在发展过程中所能起到的作用,互联网的覆盖范围越来越广,在各行业各的应用程度愈来愈高,智能手机的普及都为大数据时代的来临打下了坚实的基础,随后大数据的概念在信息技术行业中越来越得到认可与重视,大数据的相关理论基础研究与前景展望也越来越多,为大数据时代构建了理论结构与应用前景。
2012年的达沃斯世界经济论坛中将大数据作为主题之一进行讨论,可以说变相确定了大数据在未来社会发展进程中的地位,探究了以信息技术为依托的大数据处理分析如何对人类社会的发展作为贡献。国内对大数据在未来发展中将占据的地位和起到的作用也做出了充分的认可,各大企业与高校对大数据的概念与应用已经开始进行研究与实践。
2大数据一词的概念与理解
对大数据时代的理解离不开对大数据的概念的理解。什么是大数据?就当下而言,虽然大数据一词的出现的频率极高,许多媒体,部门,论坛都在使用这一词语,但是对大数据一词的核心含义的理解却并不一定充分。当前学界内对数据一词的定义尚且没有一个统一的较为得到广泛认可的定义。对大数据一词的定义可以分为几种,例如维基百科上说大数据就是指数量、规模庞大的数据资料,无法利用常见的软件工具对其进行高效率收集,处理与分析。还有的的说法认为大数据就是单纯指数据量足够大,远超常规水平的数据集合。还有的说法主要是认为大数据进行处理的方式才是大数据一词的实质,即大数据是通过特殊处理模式能提高企业对市场形势的掌控程度,为决策提供指导的数据分析处理方法。
因此来看,大数据的特征应该包含着两方面,一是大数据处理在技术层面具有先进性,二是大数据在社会性方面具有广泛性。如上文所述,大数据一词的出现是信息技术进步的结果。大数据最先出现其是存在与IT界的术语,大数据是一个多项技术合并在一起的概念,是一个具有系统性的体系,包括对数据依托信息技术实现大规模储存与联网分享的云技术,对数据进行分析处理的分布式处理技术,指纹识别,虹膜识别等对数据进行保密管理的感知技术等等,都应该包括与大数据体系之中。与此同时,大数据还具有社会性。大数据这一概念的出现离不开信息爆炸化的时代特征,大量的信息充斥于社会的每一个角落并呈现着井喷式的增长,每一个人都是数据的创造者与传递着,国际化进程的加快使人类社会前所未有的紧密联系在一起,在这种时代背景下酝酿出来的大数据概念无法避免的具有人类社会发展的特征。
在大数据时代,人们的思维模式必须向大数据化的方向靠拢,传统的思维模式已经不适合时代的发展。信息技术的进步使我们的思维模式也可以在依托大数据提供的信息作出更准确的决策和判断。在大数据模式下,高效率的数据收集与处理是我们可以脱离传统的抽样调查得出结论的办法,不用再考虑数据模型是否具有科学性和代表性,也不用考虑抽样结果是否具有偶然性,因为我们已经可以立足于全面性的数据来对问题进行思考与判断,同时,对数据的判断要提高效率,应为判断的本身也是一个大数据的过程,提高判断的效率再借以数据统计来提高其准确性。在大数据时代,人们面对数据不需要刨根问底的研究数据出现的原因,而是应该要考虑数据之间的关联性,研究数据之间的联系,思考关联出现的原因而不是单纯研究因果关系。
大数据时代对于社会的改变在于,它变革的是人们处理数据的方式与模式,改变的是人认知世界,认知事物的方法,在数据化的信息处理中提供发现问题,解决问题,创造价值的方法。大数据作为一个新生事物能开创出一个新的时代,不得不说大数据在我们当下的社会发展进程中是极有价值的。虽然大数据的定义及体系,实践应用方面还存在许多不足,缺少经验方面的积累,但是笔者相信随着时间的推移大数据体系的形成必将越来越完备。我们当下所需要做的就是把握住大数据时代的时代脉搏,必须明确大数据时代的要求:首先,大数据时代必须充分利用信息技术来提高数据的收集与储存,利用新的数据处理模式发现数据之间的关联新,为决策提高科学性的指导与数据支持。然后,大数据是技术属性与社会属性的有机统一,所以在大数据时代中两方面工作都要双管齐下,提高技术水平的同时还要注重社会实践应用,达到改变市场运作模式,各组织的结构的目的。最后,大数据不是一个高高在上的概念性名词,而是应该作为一种新的思维方式适用于社会的各个方面,包括政府行政,企业运营和人民生活等等,是新的时代智慧与时代气息,而不是单纯的一种技术或处理数据的手段。
必须要明确大数据时代真正的思想内涵,才能是我国在新时代的发展过程中不落人后,占据着有力地位,提高国家的信息化程度与综合实力,对本论文的命题“大数据时代”对企业人力资源管理工作的影响能做出正确的分析探究。
参考文献:
摘 要 大数据时代的到来,对政府统计工作来说既是一次机遇,更是一次挑战。机遇在于其丰富了数据的来源、提高政府统计数据质量和统计效率,为政府开展统计工作提供了新思路,而挑战主要体现在其要求政府统计部门转变传统的观念,树立新型统计理念,积极采取有效措施应对大数据时代,从而促进政府统计事业的稳步发展。本文笔者首先从大数据的含义出发,分析大数据时代对政府统计工作产生的机遇和挑战,并对政府统计工作如何应对大数据时表自己的看法,希望能够为提高我国政府统计质量尽绵薄之力。
关键词 大数据时代 政府统计工作 机遇 挑战
伴随着互联网、物联网以及移动终端等现代信息技术的不断发展,促使数据以几何级数的形式快速增长,数据已经融入了人们生活的各个方面,随着数据内涵的不断延展,相信在不久的将来大大数据会成为影响社会经济发展的重要战略资源。大数据的诞生,打破了传统数据的范畴,促使各项数据朝着更全面、更复杂的方向发展。总之,大数据时代到来,给政府部门开展统计工作带来了机遇和挑战,这就需要政府统计部门采取有效措施积极应对。
一、大数据的含义分析
维基百科将大数据定义为:主要指的是凡是涉及的资料量规模巨大到无法利用目前现有的软件工具,在合理的时间内将其管理、处理并其整理成一份能够帮助企业做出各项经营决策的资讯。大数据是一个体积超大、数据种类特别多的数据集,并且这些数据集是不能使用传统的数据库工具对其内容进行管理和处理的,大数据的数据和种类跟传统所限定的结构化数据也存在很大差异,包括了半结构化和非结构化的数据,例如:文字、图像、视频以及二维码等[1]。
二、大数据时代政府统计工作面临的机遇
归纳起来,大数据时代的到来,给政府统计工作带来了以下几方面机遇:
(一)大数据丰富了政府统计数据的来源
随着各种现代信息技术的不断发展,当前图像、视频以及网页等非结构化的数据所占的比例在逐渐提高,这些不仅成为了大数据的主要组成部分,也为政府开展统计工作提供了新的数据源。
(二)大数据能够辅助验证政府统计数据质量
由于大数据具有数量大、资源多以及速度快等特点,因此其可以实现对传统统计指标数据的进一步验证和补充,进而在一定程度上实现了控制政府统计数据质量的目的,保证了政府统计数据的实时性、准确性、完整性以及真实性。
(三)大数据能够进一步促进政府统计效率
由于大数据具有挖掘、收集以及分析数据的技术特点,从而其能够在很大程度上缩短数据生产的时间,减少了各种报表填报的程序,降低了调查的负担。但是从全世界来看,大数据已经被广泛运用在了价格统计、人口统计、就业统计、经济活动统计等多个专业领域中,并突显出了前所未有的应用前景和潜力[2]。
(四)大数据为政府统计提供了新思路
在多次的IBM人机大战中,人类多次战败,究其主要原因关键在于机器人可以通过设定程序在较短的时间内收集数据的基础上进一步对数据资源进行分析和处理,进而给出正确的答案。然而传统的统计分析都是建立在人的主观能动性的基础上,并且主要采用事后统计的方式,然而大数据分析技术能够快速对大数据进行实时分析,从而保证了各项数据的适用性和有效性。
三、大数据时代政府统计工作面临的挑战
(一)政府统计的工作职能不断弱化
大数据时代的到来导致政府统计部门已经不再是唯一海量数据的拥有者。特别再加上物联网等技术的快速推进,促使工业生产、物流运输以及社会消费等数据都可以直接从物联网中读取,进而将其存储在服务器中,最后在经过云计算对所得到的数据进行挖掘和分析。因此,无疑对传统的政府统计工作带来了巨大的挑战。
(二)大数据对政府统计的传统方法和制度带来冲击
最近几年,随着大数据挖掘技术的不断深入,再加上各种信息咨询业务的不断兴起,要求传统设计的对象、内容以及渠道不断发生改变,而当前的统计体系和方法制度已经远远不能适应当前形势的需要。然而数字化的行政商业记录、网络在线文本以及主流媒体数据等等都进一步拓宽了政府统计收集信息的渠道。
(三)要求政府统计提高数据处理能力
从当前政府统计的数据分析技术和能力来看,已经远远不能满足大数据分析的要求。这就需要一支专业能力更高、知识素养更强的专业统计分析人员来对数据进行分析和挖掘,从而提高政府统计数据处理能力。
(四)要求政府进一步提高统计质量
大数据时代的到来真正实现了全社会数据共享,因而官方统计已经不再是公共统计数据信息的唯一渠道,人们对数据的需求层次、质量、公开以及细化程度也将不断提高,这就需要政府部门进一步提高自身的统计质量。
四、政府统计工作应对大数据的对策
大数据时代的到来对政府统计工作带来的机遇和挑战是前所未有的,因此政府统计只有顺应时代的潮流,进一步开拓创新,才能在这场变革中占领主动地位,进而将政府统计工作推向新局面。
(一)进一步转变自身职能,构建服务型的政府统计
具体来说,可以从以下几个方面出发:(1)对统计机构进行优化设置。政府统计制度在设计时要充分考虑到用户的真实需求,进一步丰富数据采集的渠道和来源,通过更加专业化的手段对数据进行分析;(2)要进一步完善统计的职能,要充分借助现代化信息技术来缩短数据从采集――传输――汇总――存储――整个环节所需的时间,并建立起及时、有效的数据和分析系统,利用可视化技术将数据直观展示出来;(3)进一步强化社会的服务职能,只有真正实现政府统计工作面向公众、服务社会,才能在当前如此激烈的竞争中维护统计部门的权威地位。
(二)进一步完善制度,推动政府统计改革进程
(1)丰富政府统计的指标,要收集政府统计系统之外的各项统计指标,并分析该指标跟当前统计指标存在的差异,进而不断完善、调整和规范现有指标体现;(2)完善调查的方式,要进一步加强对行政记录、商业交易记录以及收缩引擎等调查方式的研究和利用,从而及时获取关于物价、就业等方面的重要信息[3]。
(三)进一步提高业务水平,探索现代化统计新模式
主要可以从以下几个方面出发:(1)改善数据护理技术,政府统计部门要针对当前大数据多元异构的特点,加快对数据清洗技术的研究进度,从而积极推动数据处理方式从传统的简单汇总逐渐向数据挖掘的方向不断转变;(2)对统计分析方法进行创新,政府统计要从当前大数据速度快、形式多以及关联性强的特点,进一步加强对数据的实时、关联以及可视化分析,要将大数据在分析相关关系中的作用充分发挥出来,进一步提升预警预测的能力;三是进一步开发出统计方面的新产品,在做好统计数据、统计分析以及统计监测的一系列传统产品的基础上,进一步研究并开发出更高层次的统计产品以及服务。
四、总结
综上所述,随着大数据被广泛运用在生活的各个领域中,政府统计也要重视和加强对大数据的利用,从而将政府统计在社会生活中发挥的积极作用充分发挥出来。在大数据的时代背景下,要求政府统计部门主动求变,在繁杂的大数据中剥丝抽茧,从而对大数据中最有价值的信息进行分析和利用,精确把握当前时展的方向,顺势而上,促进政府统计事业的稳步发展。
参考文献:
[1] 李金昌.大数据与统计新思维[J].统计研究,2014.31(1):10-15.
【关键词】删除 大数据时代 遗忘的权利
一、引言
著名的艺术家罗丹曾经精辟的评价和概括了雕塑这一门学问:就是在石料上去掉那些不要的东西。”而我想讨论的“删除”,则可以将每天面对的海量数据比作大量的石料,而要想得到最终需要的雕像即最重要的信息,需要掌握正确的取舍之道,而“雕像”就是最终信息使用者需要获得的信息的意义所在。
无论是人类的大脑还是有记忆功能的硬盘,其储存能力都会有一定的限度,在这个大数据时代成为主流的时期,我们被大量的信息所灌满,若不能即使的进行清理和删除,节约大脑和硬盘的储存空间,我们本来应集结智慧的地方将会变成装满了无用信息的垃圾场。
二、删除的含义
(一)遗忘的重要性
删除,所强调的核心思想则是遗忘的重要性,而不是让无所不在的大数据充斥着我们的大脑。大数据本身就是个客观存在的事物,其自己并不能决定本身到底对于需求者来说有用与否。可能对于一些“雕刻家”来说某些石料是有用的,而对于其他的数据需求者来说这些信息并没有核心上的用途。换句话说,数据的删除与否,取决于应用的客体。所谓的“取舍之道”,正是融合了大数据的核心思想取和删除的核心思想否。
(二)数字信息化社会下的记忆
与删除所强调的遗忘相反的正是记忆。可以说,我们所生活的时代是记忆力强大到鼎盛的时期。Google浏览器可以保存我们的一切信息,互联网搜索引擎可以保留我们的搜索记录几十年。不仅硬盘芯片有如此强大的记忆功能,甚至有些记忆力超群的人也同样拥有计算机搬的过目不忘的本领。有研究发现在美国加利福尼亚州,一名41岁的妇女,已经被不能遗忘困扰了数十年。她从11岁开始,就没有了任何遗忘的能力。她能像记忆芯片一样完全复制下每天所发生的一切事情:她清晰的记得28岁的某一个时刻她自己在做什么,她身边的人在做什么;她能够回忆起二是看过的一部电视剧的任何情节等等。记忆对她而言,就像一部永远都不会停止的电影。这明显已经严重影响并束缚了她日常的生活。不能及时进行信息的删除,无疑给这位病的生活造成了极大的困扰。
三、超强记忆的弊端――删除的紧迫性
(一)数据删除对隐私的保护
被记忆即不能及时进行删除所困扰的不仅局限于具有超凡记忆能力的个人。同样,对于硬盘的记忆功能的使用不恰当同样引起了强烈的社会反响。任何事情都有两面性,在记忆有其无可争议的好处时,删除的必要性便油然而生。对于个人隐私问题,在现代美国社会一直是个较受争议的话题。完整的数字化记忆,遭到了许多专家和学者的反对,由此产生了对隐私问题的争论。《隐私的侵犯》的作者亚瑟米勒正是基于美国联邦政府打算在未来建立一个国家数据库这一计划而对个人隐私权的侵犯展开了深刻的讨论。世界上第一部数据隐私法案,也是在此种大数据被背景下,对德国政府类似的隐私计划的直接回击。上述两个案例均充分说明了删除能力对于个人甚至机构隐私权利的保护以及完全化的数字记忆在某种程度上是存在一定弊端的。
(二)圆形数字监狱
广为熟知的圆形监狱理论也强调了由记忆引发的监视所带来的坏处。社会科学家定义了圆形监狱的概念,它是社会付出最小而受益最大的完美体现:通过对犯人的监视,在被监视者不知道自己是否被监视的情况下,他们唯一可以选择的就是尽自己最大的努力表现好,因此,可以实现受益的最大化。而完整的数字化记忆则代表了一种更为严酷的数字圆形监狱。在大数据时代下,我们的所作所为极有可能被储存在记忆芯片中而久久不能被遗忘,导致我们的行为甚至可以被后代所监视和批判。这些激烈的事实让我们不得不提高警惕,也就是说,不能删除信息的能力将给我们带来限制自身行为的悲哀。
(三)信息的泛滥化
在大数据时代的背景下,大量网络信息扑面而来,尽管我们每天接触大量的信息,但是仍会面临无法提取有用信息的苦恼。随之而来的问题便是垃圾信息的增多。如果不能及时的进行信息删除,垃圾信息会同所需要的信息一起,困惑信息使用者,导致工作效率低下等问题。
(四)社会性的遗忘
如前面所讨论的,遗忘不仅仅是一种个人的行为,我们所生活的社会也将被深深的遗忘。对于曾经失败过的人或者想再拥有一个完全不同的人生的个体来说,这种社会性的遗忘将给他们带来第二次机会。比如,曾经的社会地位以及自己建立的社会关系不能让身处其中的人感到幸福,进行一定量自己和他人的信息的删除变可以给他们一定的机会重新建立新的社会地位以及社会关系。或者,曾经有过某种犯罪行为的人们,通过这种模糊掉了外部记忆的社会遗忘机制,我们的社会能够接受随着时间不断发展的人们,因此我们才能有能力并有机会从过去了的历史经历中吸取足够的教训,并调整自身行为以更好的融入未来的社会。
四、相关政策建议
相对于删除来说,在这个信息化快和科技化的时代,记忆会显得廉价和容易操作。大量的介质材料的记忆。如硬盘、光盘等,尤其体现了记忆的相对容易性。因此,删除没有意义的信息在大数据时代下变体现出了其必要性和紧迫性。无论是杰出的雕刻家,还是优秀的数据分析师甚至是普普通通的人们,若是能够掌握删除的真正含义,正确理解“取其精华,去其糟粕”的真正内涵,便能更好的享受大数据给我们带来的真正有价值的信息,更好的提取并使用信息。
无论是在在日常生活和工作中,我们都应该及时进行无用信息的删除,这既是改变生活质量,提高工作效率的必要途径,同时也有利于促进社会进步。促使社会在保证信息充分满足需求者使用的前提下,提高信息质量,更好更快促进经济发展和社会进步。
参考文献
大趋势:从数据到大数据
从上古的结绳记事到今天充斥在各个领域的统计数据,伴随着人类社会的发展进步,数据的用武之地也日益宽广。涂子沛认为,认识大数据时代,首先要把数据的内涵搞清楚。“之所以出现数据,是人类认识世界、描述世界、改造世界的需要。数据不是数字,是有根据的数字,代表着计算、逻辑、精确、理性、科学、事实。可以说,科学的语言就是数据。”
数据其实一直都在,何以成为大数据呢?涂子沛解答道:“进入信息时代后,数据的体积和内涵都在扩大。数据已不仅仅是有根据的数字,还演变成指代一切存储在电脑中、网络上的信息,包括数字、文本、图片、邮件、音频和视频等等。”他举例说,过去50年《纽约时报》共产生了30亿单词,如今推特(Twitter,知名社交网络及微博客服务网站)一天就能产生80亿单词。
早在上世纪80年代,美国人就提出了“大数据”的概念。涂子沛认为,“大数据”逐渐流行并受到重视与摩尔定律、普适计算、数据挖掘、社交媒体和云计算这五个技术浪潮息息相关。
他就此详解说:随着这些新技术的不断涌现,全世界的数据处理和存储不仅越来越快,越来越方便,还越来越便宜,海量数据的积累最终成为可能。“万物皆联网、无处不计算”正在成为现实。数据挖掘技术则把数据分析的范围从“已知”扩大到了“未知”,并最终推动了商务智能在各行各业的广泛应用。而随着2004年,推特、脸谱(Facebook)等社交媒体的兴起,个人开始贡献大量的行为数据,也就是所谓非结构化的数据开始爆炸式增长。数据总量大量增加,目前世界80%的数据为非结构化数据,我们已不折不扣地进入到了大数据时代。
“这五个因素的共同作用就产生了大数据。到2010年,大数据成了一个很热门的词汇。”涂子沛进一步强调:“‘大数据’之‘大’,不仅在于容量,更在于通过数据的整合和分析,发现新的知识,创造大的价值。也正因如此,‘大数据’正在成为国家和政府层面的发展战略。”
大影响:从信息时代到智能时代
《大数据》一书提到,美国麻省理工学院的教授布伦乔尔森认为大数据的影响就像4个世纪之前人类发明的显微镜一样。“这个新的‘显微镜’将扩大人类科学的边界,推动人类知识的增长,引领新的经济繁荣”,涂子沛如是评价道。“大数据将引领我们从信息时代、知识时代向智能时代迈进。”可见,他对大数据的未来满怀信心。
无疑,人类已进入信息时代,借助各种搜索工具,你可以迅速找到自己需要的信息。而经过系统化整理的信息就构成了知识。“现在网上有大量免费的整理好的信息,比如在线教育,斯坦福大学的一堂课可能同时有十万人在上,而这其中只有100人是坐在教室里听讲的。知识无处不在,所以今天也是一个知识的时代。”
那么,知识再上升一层是什么?涂子沛将之归结为:智慧、智能。“能带来与众不同的知识就叫智慧,智慧可以指导行动、产生新的价值。大数据就是引领我们进入智能时代的基石。”他举例说,国际商业机器公司(IBM)的计算机“沃森”2011年在美国热门益智节目中战胜了两位人类冠军选手。与计算机“深蓝”只会做一件事(下国际象棋)不同,“沃森”从天文地理到明星八卦无所不知,其背后正得益于大数据的支撑,它能处理海量数据并快速回答。谷歌计划几年后上市的无人驾驶汽车同样依赖其强大的数据处理能力。
由此引申,他指出:“在智能时代,人与人之间的合作、任务之间的对接会更精确,整个国家和社会的运行成本会更低。由此不难推断,数据将成为创新的新基础。如今数据已成为生产过程中的基本要素和资产。组织拥有数据的种类、规模、活性以及收集运用数据的能力成为其核心竞争力。基于数据的创新和竞争将成为商业、国家竞争的重要形式。”
大数据时代,数据的价值从何而来?涂子沛认为,海量是基础,整合是关键。他谈道:“从目前的趋势来看,组织所拥有的数据已开始多元化,这包括组织内部通过自身的信息系统所获得的精确数据、社交媒体产生的模糊数据(单条数据可能没有明确的含义),以及组织外部的数据(如公共数据、其他组织的数据)。有效地整合这些数据便可能创造新的财富和价值。”
大挑战:从数据开放到数据权
计算机专业出身,从事过政府部门的统计工作,令涂子沛与数据结下了深厚的缘分。后来到美国,他任职的公司主要为政府提供数据解决方案,又使他得以近距离感受美国社会对数据的重视。在他看来,大数据时代的特点和趋势可概括为“循数管理”和“数据竞争”。
他同时认为,在这些正在发生和演变的趋势中,也蕴藏着对个人、企业乃至全社会的巨大挑战。而最为关键的是:人们应该认识到“大数据时代所昭示的是一个更加开放的时代。”为此,他在多个场合疾呼,开放数据要成为政府以及企业义不容辞的责任。“公共数据有很大一部分是社会的基础性数据,缺少它,数据便无法有效整合;商业的基础数据也应该开放,如公司注册数据、顾客行为记录等。”他介绍说,随着数据的不断开放,创新的力量正在向大众流动,数据也将成为大众的一种权利,英国社会已经明确提出“数据权”的概念。
作为中国人,涂子沛最为关心的还是中国在这个大时代当中所处的位置。他坦言道:“今天的中国是人口大国、互联网大国、手机大国,却恰恰还不是一个数据大国。收集、使用、开放数据,都是我们中国人需要一一面对的挑战。”
不久前,一则有关“中华民族复兴已完成62%,引发民众热议”的消息也引起了涂子沛的关注。他认为,这项宏伟浩大的工程是可以量化和监测的,关键在于决策制定和政策评估的各个环节要推行民意调查的科学方法。“民众的哄笑其实也说明,大众对如何在社会治理中推进科学的评估方法还相当陌生甚至无知。中国社会非常需要在社会治理中普及科学的评估知识和数据的应用。”