数据分析方向

前言：想要写出一篇令人眼前一亮的文章吗？我们特意为您整理了5篇数据分析方向范文，相信会为您的写作带来帮助，发现更多的写作思路和灵感。

数据分析方向范文第1篇

关键词: 数据挖掘；数据仓库；相关分析

中图分类号:TP 311.3 文献标志码:A 文章编号:1672-8513(2011)03-0182-03

The Application of Correlation Analysis Algorithms in the Data Invites Chien

ZHANG Hanyun,DUAN Peng

(School of Mathematics and Computer Science,Yunnan University of Nationalities,Kunming 650031,China)

Abstract: The data warehouse was constructed by using the mass data of computer science majors’ scores generated during the past three years in thirteen classes of four grades, we analyze the corresponding degree of different courses in the database using corresponding analyzing techniques, and condense the attributes in database according to corresponding factors, An example is given to illustrate the application of the proposed method. The analysis introduced in the paper has provided a scientific basis for improving the teaching quality .Then it is prepare for the Association rules mined of different courses.

Key words: data mining;data warehouse; correlation analysis

相关分析法是在分析某个问题或指标时，将与该问题或指标相关的其他问题或指标进行对比，分析其相互关系或相关程度的一种分析方法，用少数几对综合变量来反映2组变量间的线性相关性质.目前它已经在众多领域的相关分析和预测分析中得到广泛应用.本文主要研究如何利用相关分析技术产生计算机专业课之间的相关系数，发现专业课程之间的相关度，对数据仓库中的数据进行约简［1］.

1 相关分析

1.1 相关分析概述［2］

相关分析（Correlation Analysis）是研究随机变量之间的相关关系的一种统计方法.相关关系是一种非确定性的关系，例如，以X和Y分别记一个人的身高和体重，或分别记每公顷施肥量与每公顷小麦产量，则X与Y显然有关系，而又没有确切到可由其中的一个去精确地决定另一个的程度，这就是相关关系.例如，教育投资与教育发展速度的关系、教师教学水平和学生的学习效果之间的关系等［3］.

相关系数值为-1（完全负相关关系）～+1（完全正相关关系）之间，相关系数为0时，表示不存在相关关系.例：

正相关：学生的学习能力与学习成绩的关系；

负相关：教师的身体状况与缺勤率的关系；

零相关：教师的身高与教学能力的关系.

Pearson相关用于双变量正态分布的资料，其相关系数称为积矩相关系数（Coefficient of Product-Moment Correlation）.进行相关分析时，我们一般会同时对2变量绘制散点图，以更直观地考察2变量之间的相互变化关系［4］.

用Flag Significant Correlations 进行显著性检验，标出有显著性意义的相关系数，用一个星号“*”标记在α=0.05水平上有显著性意义的相关系数；用2个星号“**”标记在α=0.01水平上有显著性意义的相关系数［5］.

1.2 相关分析的表示方法

进行相关分析的主要方法有图示法和计算法.图示法是通过绘制相关散点图来进行相关分析，计算法则是根据不同类型的数据，选择不同的计算方法求出相关系数来进行相关分析.

1.2.1 图示法

图示法的具体做法就是绘制相关散点图.相关散点图是观察2个变量之间关系的一种非常直观的方法.具体绘制的方法是：以横轴表示2个变量中的1个变量（作为自变量），以纵轴表示另一个变量（作为因变量）.将2个变量之间相对应的变量值以坐标点的形式逐一标在直角坐标系中，通过点的分布形状和疏密程度来形象描述2个变量之间的相关关系.

相关散点图可以通过手工绘制而得到.但如果面对的变量值比较多，手工绘制的过程既费时，又不够精确.

1.2.2 计算法

相关系数也称为相关量，是用来描述变量之间变化方向和密切程度的数字特征量，一般用r表示.它的数值范围在－1到+1之间，它的正负号反映变量之间变化的方向；它的绝对值的大小反映变量之间关系的密切程度.

根据2个变量变化的密切程度，我们把相关关系分为完全相关、高度相关、中度相关、低度相关、零相关［6］.

完全相关：│r│=1的相关；

高度相关或强相关：0.7≤│r│＜1的相关；

中度相关：0.4≤│r│＜0.7的相关；

低度相关或弱相关：│r│＜0.4的相关.

1.3 Pearson相关

Pearson相关也称积差相关，积差相关也称积矩相关，是英国统计学家Rearson提出的一种计算直线相关的方法，因而又称为Rearson相关［6-7］.

积差相关系数是2列成对观测值中各对观测值的标准分数乘积之和除以观测值对数所得之商［8］.

1.3.1 Pearson相关的使用条件

1) 2个变量之间是线性关系，都是连续数据；

2) 2个变量的总体是正态分布，或接近正态的单峰分布；

3) 2个变量的观测值是成对的，每对观测值之间相互独立.

1.3.2 Pearson相关的计算公式

r=∑ZXZYn=∑X－Y－nσXσY.

式中，[ZK（]n表示数据的对数；σX，σY分别表示X和Y变量的样本标准差；[JP]，分别表示X和Y变量的样本平均数.[ZK）]

对于学生成绩，其课程总体分布接近正态分布，满足Pearson相关的使用条件.在统计软件SPSS中，可以很方便地得出2变量之间的Pearson相关系数.[JP]

2 用相关分析法进行数据约简

2.1 学生成绩数据仓库的建立

数据选择上，主要选择了作者所在学校计算机专业3年来产生的专业基础课成绩，收集并整理了包含高等数学、C语言、数据结构和数据库系统原理的504条学生成绩数据.并将具体的成绩数据离散化为4个等级［9］，即：

成绩>=80“A”; 70=

2.2 用相关分析法进行数据约简

对大规模数据库内容进行复杂的数据分析通常需要耗费大量的时间，这就常常使得这样分析变得不现实和不可行，尤其是需要交互式数据挖掘时.数据约简技术正是用于帮助从原有庞大数据集中获得一个精简的数据集合，并使这一精简数据集保持原有数据集的完整性，这样在精简数据集上进行数据挖掘，显然效率更高，并且挖掘出来的结果与使用原有数据集所获得结果基本相同［10］.

数据约简并不是一个新的领域，现在已经提出了很多理论和方法，如：层次分析法，主成分分析法，随机抽样、免疫算法等.本研究根据实际需要，提出将相关分析方法应用于学生成绩的属性约简，即方便快捷又不失理论性.

在SPSS软件中，画出计算机专业课高等数学成绩的直方图，如图1.

用同样的方法，可以画出其他计算机专业课如C语言、数据结构等的直方图，可以看出，我们所建立的数据仓库中，学生计算机专业课程成绩基本上符合正态分布，满足Pearson相关的使用条件.

我们用双变量相关分析技术来分析相关课程之间的关联程度，并做出统计学推断，以最少的数据量反映最大的信息量，进而对数据库的属性进行约简.通过相关分析约简相关性较弱的属性，选择相关性强的属性而不直接利用数据库中的所有属性，从而减少大量冗余属性，以提高算法的效率.

在SPSS中进行课程间Pearson相关系数分析，得到计算机专业课程相关系数分析表如表1.

1：表中数值为4门课程进行相关分析得到的皮尔逊相关系数(Pearson Correlation)、相伴概率（Sig.(2-tailed)）、样本个数（N）.“*”标记在α=0.05水平上有显著性意义的相关系数；用两个星号“**”标记在α=0.01水平上有显著性意义的相关系数；

2：相伴概率用来判断求解线性关系的两变量之间是否有明显的线性关系.一般将这个Sig值与0.05相比较，如果它大于0.05，说明平均值在大于5%的几率上是相等的，而在小于95%的几率上不相等；如果它小于0.05，说明平均值在小于5%的几率上是相等的，而在大于95%的几率上不相等；如C语言与数据结构的Sig是0，此数值说明C语言与数据结构有显著的线性关系（因为Sig0.05，则说明两变量之间没有明显的线性关系）.

由表1可以看出，同一门课程之间的Pearson相关系数为1，是完全相关关系.高等数学与C语言之间的Pearson相关系数为0.283，C语言与数据结构之间的Pearson相关系数为0.281，数据结构与数据库系统原理之间的Pearson相关系数为0.565，并且都有“*”标记，由此可以推断这4组课程之间有显著性意义的相关性.

3 结语

用相关分析技术对数据库进行约简，结果表明：线性代数、计算机导论及Pascal语言等多个因素相关性较弱；而C语言、数据结构、高等数学及数据库系统原理之间相关性较强，根据数据库约简原则，可将线性代数、计算机导论及Pascal语言等多个属性项从数据库中删除，以便提高数据挖掘效率.

参考文献:

［1］段西凌，甘开鹏.数据挖掘在人口普查信息系统中的应用［J］.云南民族大学学报：自然科学版，2006,15（2）：170-172.

［2］茆诗松．统计手册［M］．北京：科学出版社，2003.

［3］TANG Zhaohui,MACLENNAN J.数据挖掘原理与应用［M］. 邝祝芳，焦贤龙，高升，译.北京：清华大学出版社，2007.

［4］王艳.数据挖掘中关联规则的探讨［J］.成都信息工程学院学报，2004，19（2）：173.

［5］张儒良，王翰虎.论数据挖掘优化教学管理［J］.贵州民族学院学报，2004：133.

［6］赵辉.数据挖掘技术在学生成绩中分析中的应用［D］.大连：大连海事大学，2007.

［7］王月敏.基于遗传算法的智能组卷系统研究［J］.云南民族大学学报：自然科学版，2009，18（2）：173-176.

［8］刘利锋，吴孟达. 关联规则的快速提取算法 ［J］.计算机工程.2008，34(5)：63-65.

［9］李萍，段富.数据挖掘中数据约简的研究与应用［J］.微计算机应用.2009，25（2）：58-60.[ZK)]

［10］[ZK(#]蔡勇，韩永国，刘自伟.数据挖掘技术在生源分析中的应用研究［J］.计算机应用研究.2004，32（6）：48-51.

收稿日期:2010-09-06.

数据分析方向范文第2篇

Lin Mao

（Xuzhou College of Industrial Technology，Xuzhou 221140，China）

摘要：在虚拟现实项目制作中，由于种种原因，海量数据处理是一项艰巨而复杂的任务，本文主要论述了海量数据处理困难的原因，并提出了对海量数据进行处理的方法。

Abstract: In the virtual reality project production, due to various reasons, mass data processing is a difficult and complex task. This paper discusses the reasons for massive data processing difficulties, and provides methods for massive data processing.

关键词：虚拟现实 海量数据

Key words: virtual reality；massive data

中图分类号：TP39 文献标识码：A文章编号：1006-4311（2011）19-0158-02

0引言

虚拟现实项目制作过程中，由于虚拟现实包含的内容丰富，需要载入的数据量有时会非常巨大，需要进行处理和查询的内容很多，然后还要以文字和图像的形式进行表示出来，所以经常会遇到海量数据处理的瓶颈，造成这种情况的原因是：

①数据量过大，数据中什么情况都可能存在。如果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至过亿，那不是手工能解决的了，必须通过工具或者程序进行处理，尤其海量的数据中，什么情况都可能存在，例如，数据中某处格式出了问题，尤其在程序处理时，前面还能正常处理，突然到了某个地方问题出现了，程序终止了。

②软硬件要求高，系统资源占用率高。对海量的数据进行处理，除了好的方法，最重要的就是合理使用工具，合理分配系统资源。一般情况，如果处理的数据过TB级，小型机是要考虑的，普通的机子如果有好的方法可以考虑，不过也必须加大CPU和内存，就象面对着千军万马，光有勇气没有一兵一卒是很难取胜的。

③要求很高的处理方法和技巧。这也是本文的写作目的所在，好的处理方法是一位工程师长期工作经验的积累，也是个人的经验的总结。没有通用的处理方法，但有通用的原理和规则。

在多个虚拟现实项目的基础上，尤其是通过与行内多名专家进行项目经验交流，以下的方法都可以对海量数据在虚拟现实项目中的处理进行改善。

1选用优秀的数据库工具

现在的数据库工具厂家比较多，对海量数据的处理对所使用的数据库工具要求比较高，一般使用Oracle或者DB2，微软公司最近的SQL Server 2005性能也不错。另外在BI领域：数据库，数据仓库，多维数据库，数据挖掘等相关工具也要进行选择，象好的ETL工具和好的OLAP工具都十分必要，例如Informatic，Eassbase等。笔者在实际数据分析项目中，对每天6000万条的日志数据进行处理，使用SQL Server 2000需要花费6小时，而使用SQL Server 2005则只需要花费3小时。

2编写优良的程序代码

处理数据离不开优秀的程序代码，尤其在进行复杂数据处理时，必须使用程序。好的程序代码对数据的处理至关重要，这不仅仅是数据处理准确度的问题，更是数据处理效率的问题。良好的程序代码应该包含好的算法，包含好的处理流程，包含好的效率，包含好的异常处理机制等。

3对海量数据进行分区操作

对海量数据进行分区操作十分必要，例如针对按年份存取的数据，我们可以按年进行分区，不同的数据库有不同的分区方式，不过处理机制大体相同。例如SQL Server的数据库分区是将不同的数据存于不同的文件组下，而不同的文件组存于不同的磁盘分区下，这样将数据分散开，减小磁盘I/O，减小了系统负荷，而且还可以将日志，索引等放于不同的分区下。

4建立广泛的索引

对海量的数据处理，对大表建立索引是必行的，建立索引要考虑到具体情况，例如针对大表的分组、排序等字段，都要建立相应索引，一般还可以建立复合索引，对经常插入的表则建立索引时要小心，笔者在处理数据时，曾经在一个ETL流程中，当插入表时，首先删除索引，然后插入完毕，建立索引，并实施聚合操作，聚合完成后，再次插入前还是删除索引，所以索引要用到好的时机，索引的填充因子和聚集、非聚集索引都要考虑。

5建立缓存机制

当数据量增加时，一般的处理工具都要考虑到缓存问题。缓存大小设置的好差也关系到数据处理的成败，例如，笔者在处理2亿条数据聚合操作时，缓存设置为100000条/Buffer，这对于这个级别的数据量是可行的。

6加大虚拟内存

如果系统资源有限，内存提示不足，则可以靠增加虚拟内存来解决。笔者在实际项目中曾经遇到针对18亿条的数据进行处理，内存为1GB，1个P4 2.4G的CPU，对这么大的数据量进行聚合操作是有问题的，提示内存不足，那么采用了加大虚拟内存的方法来解决，在6块磁盘分区上分别建立了6个4096M的磁盘分区，用于虚拟内存，这样虚拟的内存则增加为4096*6+1024=25600M，解决了数据处理中的内存不足问题。

7分批处理

海量数据处理难因为数据量大，那么解决海量数据处理难的问题其中一个技巧是减少数据量。可以对海量数据分批处理，然后处理后的数据再进行合并操作，这样逐个击破，有利于小数据量的处理，不至于面对大数据量带来的问题，不过这种方法也要因时因势进行，如果不允许拆分数据，还需要另想办法。不过一般的数据按天、按月、按年等存储的，都可以采用先分后合的方法，对数据进行分开处理。

8使用临时表和中间表

数据量增加时，处理中要考虑提前汇总。这样做的目的是化整为零，大表变小表，分块处理完成后，再利用一定的规则进行合并，处理过程中的临时表的使用和中间结果的保存都非常重要，如果对于超海量的数据，大表处理不了，只能拆分为多个小表。如果处理过程中需要多步汇总操作，可按汇总步骤一步步来，不要一条语句完成，一口气吃掉一个胖子。

9优化查询SQL语句

在对海量数据进行查询处理过程中，查询的SQL语句的性能对查询效率的影响是非常大的，编写高效优良的SQL脚本和存储过程是数据库工作人员的职责，也是检验数据库工作人员水平的一个标准，在对SQL语句的编写过程中，例如减少关联，少用或不用游标，设计好高效的数据库表结构等都十分必要。笔者在工作中试着对1亿行的数据使用游标，运行3个小时没有出结果，这是一定要改用程序处理了。

10使用文本格式进行处理

对一般的数据处理可以使用数据库，如果对复杂的数据处理，必须借助程序，那么在程序操作数据库和程序操作文本之间选择，是一定要选择程序操作文本的，原因为：程序操作文本速度快；对文本进行处理不容易出错；文本的存储不受限制等。例如一般的海量的网络日志都是文本格式或者csv格式（文本格式），对它进行处理牵扯到数据清洗，是要利用程序进行处理的，而不建议导入数据库再做清洗。

11定制强大的清洗规则和出错处理机制

海量数据中存在着不一致性，极有可能出现某处的瑕疵。例如，同样的数据中的时间字段，有的可能为非标准的时间，出现的原因可能为应用程序的错误，系统的错误等，这是在进行数据处理时，必须制定强大的数据清洗规则和出错处理机制。

12建立视图或者物化视图

视图中的数据来源于基表，对海量数据的处理，可以将数据按一定的规则分散到各个基表中，查询或处理过程中可以基于视图进行，这样分散了磁盘I/O，正如10根绳子吊着一根柱子和一根吊着一根柱子的区别。

13避免使用32位机子

目前的计算机很多都是32位的，那么编写的程序对内存的需要便受限制，而很多的海量数据处理是必须大量消耗内存的，这便要求更好性能的机子，其中对位数的限制也十分重要。

14考虑操作系统问题

海量数据处理过程中，除了对数据库，处理程序等要求比较高以外，对操作系统的要求也放到了重要的位置，一般是必须使用服务器的，而且对系统的安全性和稳定性等要求也比较高。尤其对操作系统自身的缓存机制，临时空间的处理等问题都需要综合考虑。

15使用数据仓库和多维数据库存储

数据量加大是一定要考虑OLAP的，传统的报表可能5、6个小时出来结果，而基于Cube的查询可能只需要几分钟，因此处理海量数据的利器是OLAP多维分析，即建立数据仓库，建立多维数据集，基于多维数据集进行报表展现和数据挖掘等。

16使用采样数据，进行数据挖掘

基于海量数据的数据挖掘正在逐步兴起，面对着超海量的数据，一般的挖掘软件或算法往往采用数据抽样的方式进行处理，这样的误差不会很高，大大提高了处理效率和处理的成功率。一般采样时要注意数据的完整性和，防止过大的偏差。笔者曾经对1亿2千万行的表数据进行采样，抽取出400万行，经测试软件测试处理的误差为千分之五，客户可以接受。

还有一些方法，需要在不同的情况和场合下运用，例如使用键等操作，这样的好处是加快了聚合时间，因为对数值型的聚合比对字符型的聚合快得多。类似的情况需要针对不同的需求进行处理。

海量数据是发展趋势，对数据分析和挖掘也越来越重要，从海量数据中提取有用信息重要而紧迫，这便要求处理要准确，精度要高，而且处理时间要短，得到有价值信息要快，所以，对海量数据的研究很有前途，也很值得进行广泛深入的研究。

参考文献：

[1]何来坤，徐渊．虚拟现实建模语言VRML及其应用[J]．杭州师范学院学报，2005，(2)．

数据分析方向范文第3篇

【关键词】民航气象数据库系统；Oracle；宕机；inactive；LOCAL=NO

【Abstract】Timely， accurate， standardized acquire meteorological data information of aviation is running an important basis to protect the safety of civil aviation. In this paper， we introduce a normal fault of civil aviation meteorological database system， process reach to maxProcessors led to process frequently down， so users cannot receive new message and data. We use “kill -9” command killed inactive process which have same keyword “LOCAL=NO” in Oracle database system， so we solved the error code ORA-0020 in no restart.

【Key words】Civil aviation meteorological database system； Oracle； Down； inactive； LOCAL=NO

0 引言

民航气象数据库系统利用数据库技术和商用数据库管理系统，对各类气象资料进行有效的组织与管理，采用统一的数据模型和用户界面，从而实现对气象资料的有效存储和快速检索，并具有分布调用、高度共享和安全可靠等性能，为航空气象服务、气象业务与科研培训提供有力的支持。航空气象情报及气象资料的及时、准确、标准化获取是保障民航安全运行的重要基础。本文介B了一起由数据库进程数达到最大导致民航气象数据库进程频繁宕机故障，并给出了故障问题处理方法。

1 民航数据库系统结构简介

民航气象数据库系统是具有飞行气象情报及气象资料的制作、交换、备供、存储等功能的信息系统，包括通信分系统、数据库分系统、预报平台及服务平台四部分[1]，如图1所示。

1.1 通信分系统

通信分系统是民航气象数据库系统的基础系统，它主要实现各类气象资料的接收、检查、处理，并根据一定的规则向其它系统及地区中心进行资料分发，同时实现气象中心、地区中心与航站之间的数据交换。通信分系统将获取的各种气象数据发送给数据库分系统，数据库分系统将这些数据进行分类、解析和处理后存储在数据库中。

1.2 数据库分系统

数据库分系统采根据存储数据的用途及时间划分为实时库、历史库及临时库，分别满足不同的业务与服务的要求。数据库分系统又分为资料处理子系统和数据库管理子系统。

（1）资料处理子系统对服务器data目录下接收到的气象信息进行分析分解，质量控制后入库；

（2）数据库管理子系统采用C/S模式，对资料处理、数据库等进行实时监控与管理，预报平台与服务平台则通过获取Oracle数据库中的气象资料，以不同的形式展现给用户。数据库管理子系统主要侧重于对数据库中气象资料的管理。提供的主要功能有：系统登录、资料处理、数据库管理、数据库恢复、日志和统计、告警、用户管理、进程管理、系统配置、窗口、帮助等。

1.3 预报平台

预报平台（民航气象信息综合处理系统）利用气象实时数据库资料，通过对数据库中的气象资料进行检索、分析、处理，制作成文本、图形等形式的气象产品，为航空气象预报人员提供服务。

1.4 服务平台

气象信息服务平台从数据库中提取相关产品，以WEB形式展示向航空气象用户提供航空气象产品及服务。

2 故障现象

民航气象数据库系统数据库子系统运行环境：硬件环境为IBM服务器；操作系统为AIX5.2；数据库系统为oracle 10g。

数据库运行一段时间后，资料处理子系统相关进程自动停止运行，导致621客户端及相关协议单位无法检索到最新资料，且重新启动后再次停止运行或直接无法重新启动。

3 故障分析

通过查看数据库相应进程诊断文件方法检查故障原因，数据库诊断文件是获取有关数据库活动信息的一种方法，用于解决数据库出现的一些问题，主要包含有关数据库中出现的重要事件的一些信息，这些文件能更好的对数据库进行日常的管理。

5 结束语

本文介绍了一起民航气象数据库常见故障，即达到进程最大连接数后导致相关用户进程频繁down机问题，造成用户无法获取最新报文和自观数据，一般较为普遍的处理方法为采用修改系统最大进程连接数后重新启动数据库，但是民航气象数据库对系统停机重启要求较高，重启数据库将导致用户无法及时获取数据，具有一定的安全风险。本文主要利用Oracle数据库中远程连接进程的共同特点，都含有关键字“LOCAL=NO”，然后经根据关键字“LOCAL=NO”筛选出inactive进程使用“kill -9”强行杀掉[4]，此方法可以实现在不重启数据库情况下解决ORA-0020问题。

【参考文献】

[1]太极计算机股份有限公司，民航气象卫星传真广播系统用户手册[M].1-60.

[2]李月军.数据库原理与设计（Oracle版）[M].北京：清华大学出版社，2012.

数据分析方向范文第4篇

〔关键词〕科学数据；开放数据政策；数据共享；研究动向

DOI：10.3969/j.issn.1008-0821.2016.02.031

〔中图分类号〕G201 〔文献标识码〕A 〔文章编号〕1008-0821（2016）02-0167-04

〔Abstract〕This paper systematically studied relevant research outputs and compared respective research status on open research data policy home and abroad.In order to provide references for promoting relevant research，this paper discussed the characteristics of relevant research home and abroad，pointed out the shortages of current research in China，and finally evaluated the future research trends on open research data policy in China.

〔Key words〕research data；open data policy；research status；research trend

科学数据（Scientific Data），也称科研数据（Research Data），与科学论文一样也被视为重要的科研产出，也是一种具有潜在经济价值的战略资源。开放科学数据对数据驱动科学研究起到了关键作用，越来越多的研究是建立在对已有科学数据重用的基础之上的。因此，完整保存并开放获取先前研究的科学数据，对于顺利开展后续研究、推动科学进步具有重要意义。开放科学数据在国家科技创新中的战略地位不断提升，目前在开放规模和开放程度上均达到了前所未有的水平。通过开放科学数据改善社会生活受到众多投资者、出版商、科学家和其他利益相关者的高度关注，欧洲、美国以及众多国际组织与研究机构都积极建立开放科学数据的政策保障与管理机制。如美国已经形成了以“完全与开放”为基本国策的科学数据开放共享法规体系；经济合作与发展组织（OECD）颁布了《公共资金资助的科学数据获取原则与指南》，以指导成员国制定与完善科学数据开放共享政策；欧盟“地平线2020计划”将科学数据新增为开放存取的对象并要求逐步达到开放性可获取，并启动了旨在促进科学数据获取和再利用的“科学数据开放先导性计划”[1]。

我国早在2002年就已正式启动科学数据共享工程，并先后在六大领域共计24个部门开展了科学数据共享工作。2006年以来，中国科学院国家科学图书馆提出并开展了科学数据与科技文献跨界集成服务、数据融合技术的研究和开发。目前，我国在科学数据开放政策的制定和完善方面，与美国、英国、澳大利亚、日本、韩国、台湾等国家和地区相比仍显滞后。本文针对国内外科学数据开放政策的研究现状进行了比较分析，在此基础上探讨了国内外相关研究的特点以及我国现有研究的不足，并对我国科学数据开放政策的未来研究动向进行了评判。

1 国内研究现状分析

对从CNKI和万方数据两大中文数据库检索到的相关文献进行阅读和梳理发现，我国针对科学数据开放政策的相关研究可以概括为以下5个方面：

1.1 建立开放科学数据政策保障机制的理论性研究

目前已有较多成果是针对建立和完善科学数据开放共享政策法规的顶层设计展开论证，如刘细文（2009）指出，美国、英国以及众多国际组织与研究机构都就科学数据开放获取问题，积极建立政策保障与管理机制并广泛推行相关服务与实践，其政策举措主要围绕科学数据交流渠道各环节，集中体现在数据开放资助、数据质量控制、数据合法保护、数据保存以及数据共享利用五大方面[2]。王晴（2014）指出：国内外20余个组织相继制定或实施了30余条旨在促进科学数据开放共享的政策法规，根据制定主体和效力范围可以分为宏观、中观和微观3个层面，共同形成了一个较为完备并在不断完善的制度体系[3]。

1.2 针对国内外各类科学数据开放共享政策的调查研究 目前已有部分成果针对多种政策主体（如高等院校、科研资助机构、信息服务机构等）的有关开放科学数据的声明、指南以及政策法规等各类政策文本展开了调查分析，如司莉等（2013）考察了美国、英国、澳大利亚3个国家的科研管理机构、高校制定的数据管理政策以及政府制定的数据公开政策，并指出：发达国家的政府部门都制定了科学数据开放共享政策，对科学数据的保存与管理等均作了明确具体的规定。我国政府也应制定完善的科学数据开放共享政策，从政策层面对科学数据的开放共享进行指导和规范[4]。司莉等（2014）针对英美10所高校的科学数据开放共享政策，从一般政策、数据标准、数据访问与保存、数据共享、数据安全与保护以及数据产权6个方面进行了调查与比较，揭示了英美两国大学科学数据开放共享政策的特点与差异，指出通过借鉴国外大学科学数据开放共享政策的良好实践，推动我国大学相关政策法规的制定和[5]。唐源等（2015）针对国外典型医学相关机构的科学数据开放共享政策从科学数据开放资助、科学数据汇交、科学数据保存、数据共享利用4个方面的政策内容进行文献调研和网站调研，指出国外政策制定者从政府到机构自身以及期刊等具有多重身份，政策内容集中于数据汇交和共享计划。

1.3 科学数据开放政策利益主体的开放共享行为研究 由于开放科学数据的利益主体一般要受到相关政策法规的制约，因此也可视为科学数据开放政策的利益主体。国内的相关研究成果主要包括：①单一利益主体的开放共享行为的共享意愿及影响因素分析，如张晋朝（2013）通过问卷调查方法和结构方程模型，分析了我国高校科研人员科学数据共享意愿的影响因素，指出科学数据开放共享工作的顺利开展不仅要关注技术维度，还要关注社会环境因素、内在激励、人际信任等人文维度[7]。②针对单一利益主体的开放共享行为的演化博弈分析，如庄倩等（2015）建立了参与科学数据开放共享的科研人员之间的演化博弈模型，揭示了科学数据开放共享博弈中存在的"公共品困境"及其原因，指出为促进我国科学数据开放共享健康有序发展，不能仅从国家层面制定和完善相关的战略规划，还要从政策法规层面建立相应的激励机制[8]。

1.4 制定开放科学数据相关知识产权政策法律问题的研究 虽然目前科学数据具有著作权已经成为共识，但其使用存在著作权界定不清及其利益分配不当等问题，尤其是科学数据二次研发过程中的著作权分配问题。司莉等（2015）从科学数据开放共享中的授权方式、数据出版及引用、技术措施、制度与法规、科学数据二次利用5个方面分别探讨了科学数据著作权保护存在的问题及对策，指出我国应结合知识产权保护法、著作权法、专利法和中华人民共和国政府信息公开条例等已有法规条例，尽快建立完善的科学数据著作权保护体系[9]。

1.5 基于政策文本分析的科学数据开放政策实证研究 目前国内的相关研究成果非常有限，主要是通过内容分析法进行政策文本分析，如裴雷（2013）通过内容分析法构建了基于政策文本的上下位政策概念一致性的测算框架，并对我国12个领域的科学数据开放共享政策文本进行内容编码和实证分析，探讨了当前我国科学数据开放共享政策在吸收、扩散和创新过程中的政策文本质量[10]。

2 国外研究现状分析

对从Springer、Emerald和Elsevier三大外文数据库检索到的相关文献进行阅读和梳理，可以发现国外科学数据开放政策研究所涉及的研究主题更为广泛，可以大致概括为以下5个方面：

2.1 制定科学数据开放政策的理论探讨与实践研究

国外学者针对这一研究主题的研究成果也比较丰富，如Childs S等（2014）探讨了作为实现开放科学数据的机制――科研数据管理（RDM）的作用以及它带给记录管理者的机遇，并指出开放科学数据议程的前提是尽可能公开可用的数据，在开放科学数据的背景下仍然存在方法、伦理、政策和实践等层面的问题[11]。Higman R等（2015）借鉴行动者网络理论（Actor Network Theory）并结合政策分析过程和案例研究方法，考察了在英国高等教育机构中建立科学数据管理（RDM）政策与实践的驱动因素，以及科学数据开放共享在科学数据管理过程中的关键作用[12]。

2.2 科学数据开放政策利益主体的开放共享行为研究 国外学者针对科研人员的开放共享行为的共享意愿及其影响因素展开了较为系统的实证研究，如Wicherts J M等（2011）对心理学期刊中的统计结果显著与数据共享意愿的相关性进行了实证研究，发现科研人员不愿意共享数据的主要原因在于：统计结果不构成充分的证据以及更有可能存在明显的错误，并强调了建立科学数据的强制性归档政策的重要性[13]。Sayogo D S等（2013）指出科学数据开放共享存在多重障碍与挑战：①技术上的障碍；②社会、组织和经济上的障碍；③法律和政策上的障碍，并通过问卷调查得出影响科研人员开放共享意愿的几个关键因素：数据管理技能、组织参与、法律与政策需求、向数据集提供者致谢[14]。

2.3 面向科学数据开放政策利益主体的开放共享服务研究 国外学者针对高校图书馆、研究型图书馆、信息服务机构的科学数据开放共享服务实践展开了广泛的研究，国内的相关研究主要是对国外科学数据服务实践的案例研究及调查分析，如Nielsen H J等（2014）认为科学数据管理（RDM）是图书馆员和信息专业人员的潜在职责，研究型图书馆是选择、保护、组织与利用科学数据的最佳场所，并应积极参与到其所在学科领域的特定领域的分析研究[15]。Tenopir C等（2014）指出数据密集型科学的出现和数据管理规范的制定，驱动高校图书馆为其教师和学生开展数据管理服务（RDS），并通过调查研究建立了图书馆员、图书馆、信息服务机构参与数据管理服务的评价基准[16]。

2.4 针对专业领域科学数据开放政策的政策分析研究 国外学者针对天文、气象、地球、生物、医学等自然科学以及心理学、伦理学等社会科学专业领域的科学数据开放共享政策进行了政策分析研究，如Harris R等（2015）考察了参与开放地球观测数据的八国集团、欧盟和国际组织的21个政策文本和法律文书――八国集团（G8）开放数据、全球综合地球观测系统（GEOSS）数据共享原则、经济合作与发展组织（OECD）科学数据原则与指南、欧洲环境信息指令等，指出地球观测领域开放数据政策应更加明确、完整地说明开放获取的条件，以期充分实现开放地球观测数据的潜在利益[17]。

2.5 基于政策文本分析的科学数据开放政策实证研究 国外学者进行政策文本分析时除了运用常规的内容分析法以外，还创新性地引入了语义网分析、社会网络分析等研究方法，如Jung K等（2015）对韩国《开放公共数据指令》（OPDD）的政策文本进行了语义网分析，并指出：利用语义网的概念模型及分析过程有助于确定各类公共政策针对的主要问题及解决视角的一致性[18]。

3 国内外研究现状的比较分析

对国内外科学数据开放政策的相关研究进行对比，可以发现具有以下几个特点：①总体来看，我国学者针对科学数据开放政策各研究主题的相关研究，目前大多处于对国外先进政策实践的案例研究与调查分析阶段。②国内外针对科学数据开放政策的相关研究目前主要以英美两国的政策实践为主，原因在于英美两国已经建立起相对完善的科学数据开放政策法规体系，如经济合作与发展组织（OECD）于2007年颁布了《公共资助科学数据开放获取的原则和指南》，提倡所有的获公共资金支持得到的科学数据都应能被公众获取、共享。美国、英国等一些重要基金机构也提出了科学数据开放政策指南，如美国国家科学基金会（NSF）、美国国立卫生研究院（NIH）、美国国家航空航天局（NASA）、英国研究理事会（RCUK）等，要求所有获得资助的项目提交科学数据的开放共享计划。美国科技政策办公室（OSTP）于2013年签署了关于“提高联邦政府资助的科学研究结果的访问”的备忘录，要求由联邦资金资助所产生的非保密的科学数据，应该存储并为公众提供免费的最大化访问[19]。③国内外对于具体专业领域的科学数据开放政策的研究相对较多，但对于国家统一综合层面的科学数据开放政策研究十分有限。

对比国内外开放数据政策研究的现状不难看出，国内相关研究主要存在以下不足：①目前的研究成果主要是针对国外高等院校、信息服务机构和科研资助机构的科学数据开放共享政策的调查研究与比较分析，但从整体来看这类研究成果的研究内容比较分散、系统性不强；②已有研究针对参与科学数据开放的单一利益主体（如研究人员）的开放共享行为进行了演化博弈分析，尚未发现针对参与科学数据开放的多个利益主体之间的演化博弈分析的相关研究；③针对科学数据开放政策的政策文本分析目前主要采用内容分析法，尚未展开借鉴多学科理论与方法的政策文本分析方法的探索性研究；④尚未展开针对科学数据开放政策群的政策协同研究，已有学者针对政府数据的开放数据政策与数据安全政策的协同关系展开研究[20]，如黄道丽等（2015）分析了美国政府的开放数据政策与网络安全政策之间的冲突与协调[21]，但尚未发现有针对科学数据展开的类似研究；⑤尚未从政策科学的研究视角展开系统性的科学数据开放政策评估研究。

4 我国未来研究动向评判

通过以上的比较分析，笔者认为，我国图书情报及相关学科领域研究者应展开协作研究，并从以下5个方面强化和拓展这一重要的跨学科研究领域。

4.1 各类科学数据开放政策的调查与比较分析

针对主要发达国家的政府部门、高等院校与科研机构以及各类国际组织的有关开放科学数据的声明、指南以及政策法规等各类政策文本展开广泛的调查分析，比较和分析各类政策文本中有关一般政策、数据标准、数据共享、数据保存、数据安全和数据产权等方面内容的特点与差异，合理借鉴发达国家在政策的系统性、一致性、完善性方面的经验，为推进我国科学数据开放政策的制定与完善提供必要的参考借鉴。

4.2 科学数据开放政策多个利益主体的博弈分析

现有的研究成果主要是针对参与科学数据开放的单一利益主体（如研究人员）的博弈分析，在后续研究中可针对参与科学数据开放的多个利益主体（研究人员、科研机构、数据中心、资助者、出版者、第三方用户等）之间的利益诉求关系展开研究，建立参与科学数据开放的多个利益主体之间的演化博弈模型，探索促进多个利益主体开放科学数据的激励机制，为从微观层面制定和完善科学数据开放政策提供演化博弈的理论框架。

4.3 基于多学科方法的科学数据开放政策文本分析

值得关注的研究方向包括：①借鉴多学科理论与方法对政策文本进行内容分析，如借鉴扎根理论的“信息提取-归纳-概念化-重组”思想，对各类科学数据开放政策文本进行解构、分类和比较，提取科学数据开放政策的区分要素，确定政策文本结构化编码体系和分类标准，将政策文本转化为半结构化数据，建立类定量化的政策文本分析框架。②基于知识单元的政策文本分析方法的探索性研究，如借助于语义网分析和社会网络分析方法，探索政策文本的词汇分析单元之间的语义关联关系，并可通过软件工具进行网络结构分析及可视化展示。

4.4 各类科学数据开放政策的政策协同研究

值得关注的研究方向包括：①科学数据开放政策群内部的政策协同研究。通过内容分析法对各类科学数据开放政策进行政策文本分析，从政策连续性、政策互补性、政策交叉性、政策缺失性及政策矛盾性等多个维度考察科学数据开放政策群内部的政策协同。②科学数据开放政策群与数据安全政策群的政策协同研究。借鉴协同论思想和政策协同理论及工具，设计科学数据开放政策群与《中华人民共和国保守国家秘密法》、《中华人民共和国科学技术保密规定》以及其他相关部门颁布的保密规定等数据安全政策群的政策协同机制，制定科学数据开放政策群与数据安全政策群的政策协同策略。

4.5 科学数据开放政策的政策分析与评估研究

将侧重于定性分析的政策分析研究与侧重于定量分析的政策评估研究相结合，针对科学数据开放政策，从政策科学的学科视角进行多角度的政策分析与评估研究，如针对科学数据开放政策完整的生命周期中的每一环节――政策提案、政策制定、政策实施、政策反馈和政策调整，综合运用多种政策科学相关理论、方法与工具进行系统性的政策评估研究；运用层次分析法、模糊综合评判法、数据包络分析法和灰色关联度法等政策评估方法，建立科学数据开放政策评估指标体系并进行指标权重分析，采用数学模型及软件工具构建科学数据开放政策评估模型并进行模拟实验。

5 结 论

通过CNKI和万方数据两大中文数据库以及Springer、Emerald和Elsevier三大外文数据库，笔者对国内外现有的科学数据开放政策的相关研究成果进行了比较研究，并在此基础上探讨了国内外相关研究的特点：目前国内的相关研究基本处于对国外先进政策实践的案例研究与调查分析阶段，国内外针对科学数据开放政策的相关研究目前主要以英美两国的政策实践为主。结合科学数据开放政策相关领域的学术研究与实践进展，我国在这一跨学科研究领域未来可能出现五大研究动向：①各类科学数据开放政策的调查与比较分析；②科学数据开放政策多个利益主体的博弈分析；③基于多学科方法的科学数据开放政策文本分析；④各类科学数据开放政策的政策协同研究；⑤科学数据开放政策的政策分析与评估研究。从而推动我国开放科学数据的政策保障与管理机制的建立。

参考文献

[1]韩缨.欧盟“地平线2020计划”相关知识产权规则与开放获取政策研究[J].知识产权，2015，（3）：92-96.

[2]刘细文，熊瑞.国外科学数据开放获取政策特点分析[J].情报理论与实践，2009，32（9）：5-9.

[3]王晴.论科学数据开放共享的运行模式、保障机制及优化策略[J].国家图书馆学刊，2014，（1）：3-9.

[4]司莉，邢文明.国外科学数据管理与共享政策调查及对我国的启示[J].情报资料工作，2013，（1）：61-66.

[5]司莉，辛娟娟.英美高校科学数据管理与共享政策的调查分析[J].图书馆论坛，2014，（9）：80-85，65.

[6]唐源，吴丹.国外医学科学数据共享政策调查及对我国的启示[J].图书情报工作，2015，59（18）：6-13.

[7]张晋朝.我国高校科研人员科学数据共享意愿研究[J].情报理论与实践，2013，36（10）：25-30.

[8]庄倩，何琳.科学数据共享中科研人员共享行为的演化博弈分析[J].情报杂志，2015，34（8）：152-157.

[9]司莉，贾欢，邢文明.科学数据著作权保护问题与对策研究[J].图书与情报，2015，（4）：118-122.

[10]裴雷.我国科学数据共享政策概念一致性与政策质量评估[J].情报理论与实践，2013，36（9）：28-31.

[11]Childs S，McLeod J，Lomas E，et al.Opening research data：issues and opportunities[J].Records Management Journal，2014，24（2）：142-162.

[12]Higman R，Pinfield S.Research data management and openness：The role of data sharing in developing institutional policies and practices[J].Program：Electronic library and information systems，2015，49（4）：364-381.

[13]Wicherts J M，Bakker M，Molenaar D.Willingness to share research data is related to the strength of the evidence and the quality of reporting of statistical results[J].PLoS ONE，2011，6（11）：1-7.

[14]Sayogo D S，Pardo T A.Exploring the determinants of scientific data sharing：Understanding the motivation to publish research data[J].Government Information Quarterly，2013，30（S1）：19-31.

[15]Nielsen H J，Hjrland B.Curating research data：the potential roles of libraries and information professionals[J].Journal of Documentation，2014，70（2）：221-240.

[16]Tenopir C，Sandusky R J，Allard S，et al.Research data management services in academic research libraries and perceptions of librarians[J].Library & Information Science Research，2014，36：84-90.

[17]Harris R，Baumann I.Open data policies and satellite Earth observation[J].Space Policy，2015，32：44-53.

[18]Jung K，Park H W.A semantic（TRIZ）network analysis of South Koreas“Open Public Data”policy[J].Government Information Quarterly，2015，32（3）：353-358.

[19]黄永文，张建勇，黄金霞，等.国外开放科学数据研究综述[J].现代图书情报技术，2013，（5）：21-27.

数据分析方向范文第5篇

根据不完全统计，2016年1D6月，全球大数据领域共计发生157起投融资事件，其中中国发生了97起，超过总量的一半，其次为美国，发生41起，其他国家在大数据领域的投融资事件数量远远落后于中国和美国。

2016年1D6月，中国大数据领域投融资金额规模达到503.70亿元，排名第二的美国，投融资金额规模为111.38亿元。其他上亿元投资的国家分别为以色列5.35亿元、英国4.32亿元、德国2.24亿元、加拿大1.06亿元。

中美大数据领域投融资对比

从2016年上半年的整体投融资状况来看，中国和美国的投融资事件占全球绝大多数的比例，中美两国大数据业务的发展基本代表了大数据在全球的发展状况。深入对比中美大数据领域的投资，对掌握大数据的应用方向和技术方向具有较大的意义。

从图3可以看出，在大数据行业应用方面，中美都有涉及的行业有医疗、营销、物流、娱乐、体育和教育。其中，医疗领域是2016年上半年行业中发生投融资事件最多的领域，中国发生18起，美国发生5起；其次为营销领域，中国发生6起，美国发生3起。

相比美国，大数据的应用行业在中国更加广泛和活跃，2016年上半年中国有大数据投资而美国尚未涉及的领域比较多，如媒体、交通、金融、汽车、物联网、艺术、招聘、旅游、农业和租房等领域。其中媒体行业发生10起投融资事件，交通行业发生6起，金融行业发生6起。

在大数据技术应用方面，2016年上半年涉及的投融资方向有数据分析、数据应用、数据安全和数据工具。其中数据分析方向投融资事件最多，美国15起，中国14起；其次为数据工具方向，美国8起，中国5起；数据应用方向，中国6起，美国3起；数据安全方向，中国5起，美国3起。

从投融资的金额规模上看，2016年上半年，中国和美国的侧重点各不相同，中国偏重于大数据行业领域的应用，而美国侧重于大数据技术领域的应用。2016年上半年中国在大数据行业应用的投资总规模达到485.1亿元，在大数据技术应用领域只有18.6亿元；美国在大数据行业应用领域的总投资规模为26.9亿元，在大数据技术应用领域达到84.4亿元。

中国投融资规模的TOP3均为行业领域，分别为交通、物流和医疗，投融资规模分别为305.4亿元、105.0亿元和50.7亿元。而美国投融资规模的TOP3中有两个为技术领域，分别为数据工具44.2亿元、数据分析31.3亿元；有一个为行业领域――医疗16.6亿元。在行业应用方面，中美投资事件最多的均为医疗领域。

中美数据分析领域投融资市场对比

可以看出，美国比较侧重发展大数据的技术应用，而数据分析是大数据技术应用领域投融资最多的技术方向。2016年上半年，中国在数据分析方向的投融资事件达到14起，美国15起，高于中国。在金额方面美国更是远远超过中国，投融资金额高达31.3亿元，而中国只有7.3亿元。

2016年上半年，数据分析领域的投融资事件主要集中在分析平台、用户分析和商业智能方向，分别发生投融资事件12起、10起和3起，各自占比为41%、35%和10%；其他几个方向的占比都比较小。从金额分布上看，分析平台占比最大，达到61%，其次为用户分析16%，可视化分析13%。