数学建模数据处理方法

前言：想要写出一篇令人眼前一亮的文章吗？我们特意为您整理了5篇数学建模数据处理方法范文，相信会为您的写作带来帮助，发现更多的写作思路和灵感。

数学建模数据处理方法范文第1篇

关键词：滕王阁景区 三维模型 Smart3D Capture

滕王阁景区是以江南三大著名楼阁之一的滕王阁为中心的景观建筑旅游景区。随着景区的向北和向南的延伸扩大和融入赣江旅游风光带，如何让游客通过大屏幕，模拟亲临滕王阁滨江景区游览，感受人文旅游资源所带来的旅游文化快乐，为滕王阁景区旅游提供优质服务，成为旅游业关注的重点。本文着重阐述以倾斜摄影测量技术为基础，采用Smart3D Capture等三维建模软件，探讨建立滕王阁景区三维模型的技术流程，利用三维模型对滕王阁景区进行引导与宣传，进而推动南昌旅游业的发展。

一、基于倾斜摄影测量三维建模的意义

滕王阁景区位于南昌市赣江与抚河故道的汇合处。本次三维建模范围，依据《南昌市滕王阁历史风貌区控制性规划（2015-2020）》，南起中山西路，北至阳明路，东为子固路，西邻赣江，总面积为82公顷。其中，以滕王阁为核心景区范围，面积为4.5公顷。景区域内由滕王阁主体建筑、文化庭院、奇石雕塑以及历史文化景观组成，对游客吸引力大。主体建筑为宋式仿木结构，碧瓦丹柱，雕梁飞檐，书画满堂，立面凹凸有致，历史文化丰富，需要真实模拟滕王阁景区的三维模型向游客提供查询与认知服务。

滕王阁景区内的景观众多，大小不一，立面复杂，纹理多样。本试验基于三维建模技术，根据倾斜摄影测量数据，依据滕王阁景区内的建筑、植被、道路、设施的大小形状、距离位置，材质色彩、光照效果等构建三维模型，实现仿真模拟与可视化过程的简单化，达到快速而准确地为旅游用户提供一个身临其境的真实旅游场景的服务模式。

二、滕王阁景区建模技术路线

滕王阁景区的景观模型建立，其基本要求是准确反映出景观建筑的平面位置，大小、形状、色彩及材质，让游客能从多个角度进行全面欣赏。所采用倾斜摄影测量来获取建模影像数据，其基本原理是在同一飞行平台上搭载了多台可旋转变化镜头的传感器，同时从一个垂直和多个倾斜的不同角度采集影像。

滕王阁核心区三维模型

在多个镜头、不同角度下完成倾斜摄影影像数据采集工作，可以获取滕王阁的多方位几何信息，并且又实地采集滕王阁景区建筑的纹理数据，在数字正射影像和数字高程数据支撑的基础上，利用Smart3D Capture软件完成三维模型的建立。

（一）滕王阁景区模型构建技术路线

为保证建模精度，航空摄影技术指标为：使用Ultra Cam OSPREY数码航摄仪，地面分辨率为0.08米，焦距80毫米，像元是6u。通过倾斜摄影获取数据并进行空三加密处理后，在DEM与DOM的支撑下，外业景观纹理采集，采用Smart3D Capture分区建模，从而实现整体三维模型的建立。

（二）滕王阁景区数据采集的方式

滕王阁景区三维模型的构建，其三维空间数据和影像数据，由景点的一系列平面位置、地面高程、地物高度及纹理数据、DOM、DEM数据等组成，而通过倾斜摄影测量技术，采用多台传感器，以不同角度对景点进行全方位影像数据采集，可以方便、快速、高效的获取建模数据。

构建滕王阁景区的三维模型的几何数据，选用能够形象表达旅游景点的形态特征及相应建模精度要求的合格数据。纹理数据的采集，应拍摄建筑物所有部位的表面影像，以便满足不同细节层次的表达要求，并同时应注意到通用纹理与示意纹理的数据采集。属性数据的采集应保证景观建模信息的正确性与完整性，在编码过程中应具备系统性、通用性以及扩展性。

1.建模数据的验证

数据精度是模型精度的重要支撑。滕王阁景区三维模型的质量取决于数据质量，而数据质量可以用数据质量元素进行描述，主要体现在模型的完整正确性、直观形象性、现势性、真实准确性、表现精度、属性信息精度以及逻辑一致性等几个方面。为准确建立滕王阁景区的模型，开展了对已有的DEM、DOM数据进行准确性和完整性的来源检查，保证其一定的数学精度和获取合格的原始数据。

2.纹理数据的采集

纹理数据的采集，是真实表现实体的基础性工作。在数据采集过程中，采取事先计划，围绕核心区进行闭合路线分区采集，有利于提高数据采集效率。

（1）纹理采集

纹理拍摄：为清晰表现滕王阁景区景物，对建筑物进行实地拍摄和纹理采集，并按景观属性分类，逐一整理编号。采用的拍摄器材为有效像素1200千万，JPG存储格式的佳能数码相机。选择拍摄的时间：日出后二小时和日落前二小时，以此回避中午太阳正射建筑物时段。拍摄建筑物角度的选择，以变形小、和无遮挡物，且色调均匀为最佳。获取的照片颜色则以真实不偏色为原则，同时应避免景观建筑物由于自身反射光所带来的颜色失真。

（2）数据采集的内容

数据采集，主要有滕王阁景区中的景点全貌、景点位置、景点特征和鸟瞰景点的视觉影像。其中，景点建筑物的多角度和突出表现特征点的数据采集最为关键。为正确多角度全面反映建筑物滕王阁，其景点建筑物数据采集，应采用表现全貌，拍摄左前视、右前视、正前视、前侧视、左侧视、右侧视和后侧视的影像，以利于全面反映出景点建筑物各个角度的外立面；在表现建筑物主体上，可以选择拍摄滕王阁具有唯一性和代表性的正前视部位。而在采集的同时，实地开展对滕王阁景区所有的地理要素核实和建筑物阴影的识e。

（三）软件平台

Smart3D Capture是一种快速、全自动的三维场景运算建模软件，是通过简单连续的影像来产生超高密度点云，进而生成具有真实影像位纹理的高分辨率三维模型。滕王阁景区的内业三维模型的数据处理，是利用全自动三维建模软件Smart3D Capture进行建模，通过三维数字地球平台的数据导入，整个过程自动化，全面实现三维模型和景区场景的融合。

三、滕王阁景区建模的实施

滕王阁景区三维模型的实施构建过程中，首先对建模区域进行单元划分，按不同单元类别表现要求和基本属性进行数据处理，以达到精细、标准和一般性的不同层次的建模要求。

（一）模型的单元划分

模型的单元划分：滕王阁景区分区的原则：以核心景区、保护区、规划区进行分区。实际划分时，采用相对稳定和完整的自然地形地物，取用赣江大堤、阳明路、子固路等为边界线，这样有利于滕王阁景区地理要素在几何要素上不被任意截断，保持模型具有相对的独立性和完整性。

（二）模型的分区命名

滕王阁景区的三维分区模型命名，是参照行业标准《三维地理信息模型生产规范》CH/T 9016-2012执行，其基本结构是由建模单元编码、模型类型、模型顺序号和表现等级共四部分组成，以便达到有序建模。

（三）模型的制作

滕王阁景区是一个景观形态不一、外立面复杂的景区。在建模时，按模型等级及建筑物类别进行处理，突出其建筑物特征。滕王阁的主体建筑模型，主要是反映建筑的外观细节，清晰表现出游客喜爱观赏的几何特征点。尤其是在沿着建模景观物体漫游时，游客能充分欣赏到滕王阁建模后的细部特征而带来的立体艺术美感。同时，滕王阁的纹理多样复杂，在制作过程时，应保持与实地石材、玻璃、金属、木材的材质纹理一致性，使整体拼接过渡自然。

滕王阁景区的地形模型数据是由几何数据和纹理数据共同组成。整个区域内地形起伏不大，以平地居多，沿江部分有赣江陡堤、码头斜坡等，平地平均相对高差小于5米。 因此，所采用DEM的格网单元尺寸不大于10m×10m，DOM的分辨率地貌优于1m，且高程精度优于2m时， 所构建的地形模型，能满足一般性地形的建模需求。

四、滕王阁景区模型的纹理贴图

景观建筑纹理贴图是提高实体的准确、形象和真实性来表现实体的一种图像处理技术。滕王阁景区分别按“景观正立面纹理”、“内部主体立面纹理”、“景观背立面主体纹理”等类型，实现不同类别的表现。获取景观纹理图像的主要方法是通过实地拍摄照，在后期采用Photoshop cs6进行针对性复原和反复调试。

（一）纹理图像处理的基本原则：图像应反差适中，色调均匀，且拍摄体前无遮挡物，并通过纠正变形，去除杂色，保持与实地建筑的一致性。

（二）纹理效果的处理：以照片为基础，采用Photoshop cs6软件，进行人工后期修补处理，重点去除纹理阴影，保持纹理整体影像颜色的均匀适中和真实、准确。

五、建模试验结论

研究表明：滕王阁景区的三维建模方法，采用倾斜摄影的影像数据，其所构建的三维模型，具有信息丰富，形象真实，纹理清晰，准确完整的特点，全面实现了景区场景的实时漫游与交互功能，从而能使游客在多个角度下欣赏立体景观，有效弥补了基于正射影像应用建模的不足，实现过程快捷简单，可视化效果形象逼真，且易于集成与共享，这为滕王阁景区旅游提供了一种全新、漫游和互动式的资源共享手段，满足滕王阁景区旅游发展的需要。

参考文献：

[1]苏建云.旅游信息三维平台设计[J].湖北民族学院学报[J].2015（9）.

[2]国家测绘地理信息局.三维地理信息模型生产规范CH/T 9016-2012[S].北京：测绘出版社，2012.

[3]周杰.基于倾斜摄影测量技术构建实景三维模型的方法研究[J].价值工程.2016.35（25）.

数学建模数据处理方法范文第2篇

【关键词】培养目标 专业认知度 算法设计 模块课程

【中图分类号】G420 【文献标识码】A 【文章编号】1674-4810（2014）10-0008-02

信息与计算数学专业是高校本科数学类专业，其专业培养目标是具有良好的数学基础和计算机技能的综合型人才。实际上，不同的高校对专业的定位还可以有很大的自由度来创建自身的特色。不管主要方向是以培养研究型人才还是应用型人才为主，信息与计算科学不应是理论数学与计算机操作的拼盘，而应在科学计算方法设计上充分发挥数理逻辑思想的优势。教师在专业模块课程建设上应重视这一点。

一 计算机专业学生与信息与计算机专业学生的比较

信息与计算科学专业有很大一部分毕业生走向了与IT行业相关的工作岗位。有人说，信息与计算科学专业本科生就业是在抢计算机专业的饭碗，其实不然。从就业岗位情况上看，至少表面上信息与计算科学的毕业生确实与计算机类专业的毕业生一样，从事计算机软件开发等工作的较多，但是若干年以后会发现，他们的发展方向有所区别，他们的工作能力特长是不一样的。我所执教的杭州电子科技大学是一所以电子信息为特色的普通高校，因担任数学建模课程以及全国竞赛的指导工作，我有机会认识和了解一些来自我们学校数学、通信、电子信息、计算机软件与计算机技术、信息安全、财经和管理类的学生。他们都是所在学院成绩优秀的大二、大三的本科生。在研究如何利用数学方法解决大数据的实际应用问题时，我发现大二学生已经具备了一些具有专业性的特色差异：将计算机类专业学生与信息与计算科学专业的学生作比较发现：计算机类学生思路很活跃，搜索现代科技学术成果能力较强，重视一种方法的计算实现，具有较强的编程能力。他们比较注重计算结果的好坏，也比较喜欢拿程序作为研究成果，对数学方法原理的理解往往不够深入，算法选择的随机性较大。而信息与计算科学专业的学生由于大规模数据计算实现能力的训练不足，面临着长无所用的问题。得益于基础数学逻辑思维训练，信息与计算科学专业学生数学方法的逻辑表述强于计算机类学生，更注重于解决问题方法的合理性和数学方法本身的质量，但是能把比较复杂的算法编程实现的学生很少，对于数据存储与读取方法、算法设计技巧往往缺少足够的了解。也就是说，该拿的学分都拿了，学了不一定真正理解，也不会应用。而事实是，掌握计算实现能力的学生有能力解决实际问题，而只有解决问题的思路却无法实现计算的学生，没有别人的合作无法完成一个能解决大数据问题的算法实现。

二 信息与计算科学专业建设应重视算法设计能力培养

信息与计算科学专业究竟要培育什么样的专业特色？毕业生将从事的研究或应用领域在什么方向？不同类别的学校可以根据自身条件来设计自己的专业特色。在大规模数据处理已成为通信、商业、交通管理、军事等领域的必要手段的今天，快速、有效的算法设计方法研究及计算实现凸显了算法在现代社会经济发展中的重要位置。我们从算法设计能力培养对信息与计算科学专业建设的相关性、社会效益与可行性等方面，来讨论专业建设在这一方面的必要性与现实意义。

1.专业相关性

强化算法设计能力可以使数学方法与现代计算工具的使用有效结合，这一目标与信息与计算科学专业的培养目标完全一致。算法设计能力的提升不仅仅有利于培养数学方法在科学计算方向的应用型人才，以研究算法效能为目标的人才培养也是一个值得建设的专业模块。

2.专业特长认知

算法设计能力培养有利于提升信息与计算科学专业学生对专业定位的认知度。了解自己专业的特点与长处，明确自己的努力目标，可以对自己的发展建立一个适合于自身条件的规划，有利于激发学生潜在的学习热情。应让我们的教育对象真正认识到所学专业是现代社会有用和有很大发展空间的专业，有了正确的认识和定位，才能激发学生主动学习和研究的兴趣和动力。

3.科学计算是信息与计算科学专业的特色方向

强化算法设计训练可以促使数学理论到生产实践问题计算实现的有效结合，大数据综合问题的计算方法设计与实现研究可以加深学生对计算机计算原理的认识和理解，从而激发科学计算方法的研究兴趣。有效的算法设计训练能使信息与计算科学专业的研究方向多元化，学生的软件开发能力也更具备数学专业的特色与潜在优势。在专业模块课程设置中，加强算法设计的理论与实践可以使专业理论课程与实践课程结合得更加紧密，从而更有效地实现专业培养目标。

4.社会效益

现代社会处于国际化大市场、大信息环境，不管是通信、交通、生产、管理还是军事及安全部门都需要能及时处理大量错综复杂的各类数据，提炼有用的信息与情报，并依此做出正确的判断与决策的计算机人才。从社会需求角度看，当前许多企业及行政管理机构的市场分析、经营管理与决策都需要大量这方面的人才。高校输出符合社会需求的毕业生将对高校的就业以及所产生的社会效益都将产生积极作用。从一些优秀毕业生的反馈情况来看，与证券业或银行以及IT行业相关工作的毕业生中，有相当一部分从事计算机算法研究有关的工作。

5.可行性

目前全国设立信息与计算科学专业的高校多数都有计算机类专业，只要制订培养计划的学校相关部门以及分院真正认识到算法设计在专业建设的必要性。我们通过师资培训以及增进数学专业与计算机专业的师资融合与交流，随着计算机的普及，强化编程实现训练的实验条件已经充分具备。

从已经毕业工作若干年的毕业生发展情况来看，很多在工作岗位上表现得十分出色，有从事投资与证券分析、电子商务网搜索算法设计、金融行业风险评估管理、市场分析与生产管理方面的各种工作的毕业生来自信息与计算科学专业。我们的专业特质和潜在能力有待于社会发现，是因为这些优秀人才在社会上的影响力还没有形成规模。有很多单位提出要我们推荐一些数学能力与计算机编程都比较强、不经过培训就可以直接上岗的毕业生，我们发现这方面的社会需求缺口很大，有些IT行业对算法设计能力有比较高的要求，甚至带着算法设计试卷到学校招聘。

经过我们对专业课程设置和实践环节系统的加强，以及增加一些必要和有效的训练，相信信息与计算科学专业会办得更有质量，不仅仅是帮助本科生直接就业，对于进入研究生学习阶段的学生来说，良好的算法设计能力对于进一步研究数学的现代计算方法也是必不可少的。当毕业生在社会各行业和部门起到主导作用时，信息与计算科学专业将获得社会的普遍认可。从培养应用型人才的角度考虑，在理论课程与实践环节中强化信息与计算科学专业算法设计训练作为专业特色切合专业培养目标，操作上可行，同时符合社会需求和广大学生的利益。

三 实践课程要从基础抓起

信息与计算科学专业设立至今经历了时间的检验，培养目标大框架是教育部制定的，学校的课程设置虽各有所侧重，但基础数学课程和计算机语言都得到了普遍重视。问题是计算机编程实现能力在学生中的差异往往超过其他任何理论课程。不少学生计算机语言课程考试成绩不差，但不能真正独立完成编程和计算实现。我们的教法是传统课堂讲解，作业和考试几乎都是在纸上。俗话说：“万事开头难。”我们缺少在学生刚刚接触计算机语言时给予操作上的必要指导，或在最初需要实践指导时教学环境没有及时跟上，现实存在的课程体系分工太明确，理论课归理论课，实践课就是实践课，缺少一种过渡过程的训练和氛围。像福州大学将数学与计算机合在一起设立学院是相当有远见的，该校数学专业的本科毕业生在社会上就很受欢迎。

杭州电子科技大学信息与计算科学教研室除专业实验室正常实验教学活动外，还成立了一个攀峰工作室，由若干年轻教师负责在课外对学生进行一对一的计算机编程技术、图像处理、统计数据分析等传帮带工作，这一项工作已经开展了许多年，教师的付出是巨大的，学生受益面很大，学生还可以再带学生，一年级第二学期开始跟随攀峰工作室的老师直到毕业的三年多时间，这些学生群体在就业方面很受欢迎，工作后个人发展空间比较大。

当前高校理工科类专业普遍重视数学基础的背景下，数学专业的不少学生却对专业前景比较悲观，在普通高校，一些学生们感觉数学难学，认为自己不是做研究的料，而计算机应用能力又比不上计算机专业的，不知道自己将来可以做什么。信息与计算科学专业的学生应充分利用自身良好的数学背景，在新生入学阶段学会基础的计算机编程技术，对算法设计与分析有一个感性的认识，培养对计算科学的研究兴趣，从而提升对信息与计算科学专业的认知度。正确的专业认知能激发学生的学习兴趣，确立个人的努力方向和奋斗目标，在本科阶段打下良好的研究基础，为今后的发展做好准备。从长远的角度看，强化算法设计能力不但有利于提升信息与计算科学专业本科毕业生的就业竞争力，更有利于拓宽将来的职业发展空间。

参考文献

数学建模数据处理方法范文第3篇

关键词：大数据；复合人才；教学内容；实践形式；校企合作

中图分类号：G642.0 文献标志码：A 文章编号：1674-9324（2014）45-0201-03

一、引言

随着计算机软硬件技术的快速发展，计算技术已从传统的PC平台计算模式发展到嵌入式计算、移动计算、并行计算和服务计算等多种计算系统并存及融合的计算模式，处理的对象也呈现出网络化、多媒体化、大数据化和智能化需求的特征，而物联网、移动互联网的快速发展促进了这一趋势，从而迎来了大数据时代的到来。大数据是继云计算、物联网之后兴起的又一新兴发展方向，被学术界、工业界乃至政府机构密切关注和广泛研究。

大数据又称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极的目的的资讯。在维克托・迈尔・舍恩伯格及肯尼斯・库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据的方法。一般说来，大数据具有4V的特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

二、大数据时代对人才的要求

从广义上讲，大数据人才就是具备大数据处理能力的科学家和工程师。目前，国际上开设了大量的数据科学方面的课程、数据科学学位计划以及数据科学短期培训班。从国际上设置的培养计划来看，大数据人才应该系统地掌握数据分析相关的技能，主要包括数学、统计学、数据分析、商业分析和自然语言处理等，具有较宽的知识面，具有独立获取知识的能力，具有较强的实践能力、创新意识和团队合作意识。具体来说，大数据人才首先应具备获取大数据的能力，例如能根据任务的具体要求，综合利用各种计算机手段和知识，收集整理海量数据并加以存储，为支撑相关的决策和行为做好数据准备。其次，应具备分析大数据的能力，对于经过预处理的各类数据，能够根据具体的需求，进行选择、转换、加载，采用有效方法和模型对数据进行分析，并形成分析报告，为实际问题提供决策依据。最后，应具备良好的团队合作精神，大数据时代下的数据分析任务通常无法依赖个人能力来完成，需要在团队制度的约束下，与他人一同携手、互相鼓励、分工合作来实现既定目标，因此具备较强的责任心与团队合作精神也是大数据从业人员必备的基本条件。

三、大数据人才培养的探索

大数据产业的发展，对大数据人才提出了新的需求，国内各高校在积极进行大数据学术研究的同时，也开始考虑将大数据相关课程纳入培养体系，以满足社会对大数据人才的需求。以下结合作者在数据库及分布式技术系列课程中的教学经验，以及大数据分析与处理方面的实践经验，探讨大数据系列课程教学内容和实践形式的设置。

在教学内容的设置上，大数据系列课程建议可分为理论教学和技术教学两个方面，因为理论是大数据认知的必经途径，也是被广泛认同和传播的基线；而技术是大数据价值体现的手段和前进的基石。在理论方面，讲授的理论内容可涵盖如下几点：

（1）大数据概念：大数据概念出现的历史，关于大数据定义的各种流派以及说明，大数据的四个特征，大数据与云计算、物联网的关系，大数据与大规模数据、海量数据的差别。这个部分主要突出“大数据”概念中应包含的“对数据对象的处理行为”。

（2）典型的大数据应用实例：精选有新意的大数据分析典型案例，可帮助学生更清晰的理解大数据的概念和含义，这样的案例如：美国梅西百货的实时定价机制（根据需求和库存的情况对多达7300万种货品进行实时调价）、百度搜索的实时热点排行榜（以数亿网民的搜索行为作为数据基础，建立权威的关键词排行榜与分类热点）、沃尔玛的搜索引擎Polaris（利用语义数据进行文本分析、机器学习和同义词挖掘使得在线购物的完成率提升了10%～15%）、谷歌流感趋势工具（通过跟踪搜索词相关数据来判断全美地区的流感情况）等。在教学过程中，教师应注意将授课的重点放在系统化的开发步骤和关键性问题的求解上，介绍案例的设计思想、主要方法和应用过程等。

（3）大数据关键技术与挑战：介绍大数据时代面临的新挑战，包括大数据集成（数据异构性和数据质量问题）、大数据分析（数据形式多样化、数据处理的实时性、索引结构的复杂性等）、大数据隐私问题（隐私保护和数据分析的矛盾）、大数据能耗问题（低功耗硬件的设计）、大数据处理与硬件的协同、大数据管理易用性问题以及性能测试基准。

（4）大数据存储和管理技术：介绍如何把采集到的大数据存储起来，建立相应的数据库，并进行管理和调用。主要内容包括：分布式文件系统（HDFS）、去冗余及高效低成本的大数据存储技术、新型数据库技术（键值数据库、列存数据库、图存数据库以及文档数据库等）、异构数据融合技术、分布式非关系型大数据管理与处理技术、大数据索引技术和大数据移动、备份、复制等技术。

（5）大数据分析及挖掘技术：介绍从大量数据中寻找其规律的技术，通常由数据准备、规律寻找和规律表示3个阶段组成。数据准备是从上述大数据中心存储的数据中选取所需数据并整合成用于数据挖掘的数据集；规律寻找是用某种方法将数据集所含规律找出来；规律表示则是尽可能以用户可理解的方式（如可视化）将找出的规律表示出来。根据挖掘任务可分为分类或预测模型发现、数据总结、聚类、关联规则发现、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现等。

在技术方面，可考虑分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程，具体可包括以下几点：

（1）NoSQL技术：NoSQL产生的背景、NoSQL现状、NoSQL数据库与关系数据库的比较、聚合数据模型、分布式模型、数据一致性、典型的NoSQL数据库分类、NoSQL数据库开源软件。

（2）MapReduce：MapReduce模型概述、编程模型：Map和Reduce函数、MapReduce工作流程、并行计算的实现、实例、Yarn等

（3）Hadoop分布式文件系统：Hadoop出现的背景、Hadoop的功能与作用、为什么不用关系型数据库管理系统、Hadoop的优点、Hadoop的应用现状和发展趋势、Hadoop项目及其结构、Hadoop的体系结构、Hadoop与分布式开发、Hadoop应用案例、Hadoop平台上的海量数据排序。

（4）还可进一步包括数据流的管理与挖掘、云数据库、图数据库等。

由于大数据系列课程所涉及的技术具有很强的应用背景和实践意义，因此应摒弃传统教学模式中“重理论、轻实践”的思想，在掌握大数据相关的理论知识和技术知识之后，还需重点培养学生的综合实践能力，以满足社会就业的需要。为此，应设立一定的大数据技术实践课程内容，帮助学生从知识型向能力型转变。结合上一节分析的大数据时代对人才的具体要求，建议按以下流程设置实践环节的内容：

（1）分组。如前所述，大数据时代下的数据分析任务通常需要以团队的形式来完成，因此首先要求学生根据自身情况，结合各自的技术优势，合理进行分组。

（2）选题。在具体选题上，可使用校企合作的具体项目或以Apache Hadoop、MongoDB、Dremel、Gephi等一系列的开源大数据分析软件作为实践平台，以Kaggle为数据科学平台来进行选题。

（3）明确需求并撰写大数据分析任务书。明确选定的题目范围内，数据分析要研究的主要问题和预期的分析目标。只有明确了数据分析的目标，才能正确地制定数据收集方案，即收集哪些数据，采用怎样的方式收集等，进而为数据分析做好准备。

（4）数据收集及预处理。由于大数据分析最终的结果与其获取的数据质量紧密相关，因此收集的数据是否真正符合数据分析的目标是必须注意的重要问题。该步骤要求学生从分析目标出发，从浩瀚的数据中正确的收集高质量且服务于既定分析目标的数据，然后对数据进行必要的加工整理，包括填写空缺值、平滑噪声数据、识别和删除孤立点、解决不一致性、规范化（消除冗余属性）和聚集（数据汇总）等。

（5）探索性数据分析。由于大数据分析的数据量通常达到PB甚至YB级以上，因此希望直接选定一个分析模型是不现实的，而且面对高维海量数据，也很难直接看出数据的规律。在这个步骤中，应指导学生通过基本描述统计量的计算、基本统计图形的绘制、用各种形式的方程拟合等手段，计算某些特征量等方法探索规律性的可能形式，帮助学生快速掌握数据的分布特征，这是进一步深入分析和建模的基础。

（6）模型选定分析。在探索性分析的基础上提出一类或几类可能的模型，然后通过进一步的分析从中挑选一定的模型。有时选择几种统计分析方法对数据进行探索性的反复分析也是极为重要的。每一种统计分析方法都有自己的特点和局限，因此，一般需要选择几种方法反复印证分析，仅依据一种分析方法的结果就断然下结论是不科学的。

（7）模型的验证及分析报告。指导学生对选择的数据分析模型及结果进行分析，可使用数理统计方法对所定模型或估计的可靠程度和精确程度作出推断。观察模型提供决策的信息是否充分、可信，所发挥的作用是否与期望值一致，数据分析方法是否合理，是否将风险控制在可接受的范围。

以上这种项目式实践形式的优势是：在学生参与完成某一具体的大数据分析任务过程中，通过主动地学习来自主地进行知识的建构，让学生经历项目开发的整个过程，从中去发现和掌握相关知识，达到既能熟悉大数据分析过程，又完成了经验的积累，还能实现学习知识、培养能力的目的。在这里，教师不再是知识的传授者，而是项目活动的组织者和咨询者。

四、校企合作推动人才培养

一方面，大数据的核心业务必然是一种扎根于特定行业，综合运用已有的存储、分析、挖掘、展现技术，根据用户需求并融入行业特色技术模型的一站式大数据平台业务。另一方面，对于企业来说，各类业务产生的数据为数据分析创造了非常好的基础条件。大数据解决方案是有价值的，但是苦于找不到既懂数据分析技术，又懂得业务的专业人才。由此可见，既懂得相关技术，又谙熟企业业务的复合型人才才是企业部署大数据应用最迫切需要的人才。因此，企业可以与学校联合培养自己所需要的大数据人才，这种方式有两方面的优势：一是大数据技能训练的对象，即大量的数据，只有企业才具备；二是在企业的支持下，学校也能通过针对性的实践训练来培养学生的大数据处理技能。

大数据时代下的校企合作的形式多种多样，可通过联合办学、联合制定人才培养方案、合作开发课程和教学内容、设置实训项目、教学管理和共建“双师”结构教学团队等形式展开。

五、结语

数学建模数据处理方法范文第4篇

［关键词］大数据；企业；管理决策

正确的决策是企业公共竞争优势的源泉，一项良好的决策能帮助企业产生更优的组织绩效，其效果积累也会为企业造就更强的竞争优势。伴随云计算、移动计算等新兴技术的兴起，数据模式的高度复杂化和数据规模的爆炸式增长标志着全球已进入网络化大数据时代。数据成为最重要的决策依据和基础，能够帮助企业进行更高效、更及时的管理决策，从而尽快创造新的商业机会和契机，转变企业以往僵硬的商业模式。当前我国对大数据方面的研究多基于或限定于技术层面，鲜有从管理学角度、大数据角度来分析企业管理决策的研究。管理决策和大数据应如何定义？大数据是如何发挥影响企业管理决策效应的？诸如此类的问题尚需要系统研究。

1大数据的定义

维基百科对大数据所作出的定义是：难以在一定时间内，通过常规软件工具来对其内容进行采集、管理、处理等工作的数据集合。此外，麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。就笔者而言，以上均是基于大数据特征方面来对其进行定义的。国内很多学者也对大数据的定义作出了探索。以李国杰先生为代表的学者们将大数据定义为：不能在一定时间内通过传统软硬件工具和IT技术对其进行获取、管理等的数据集合。而以冯芷艳为代表的学者们则认为大数据与大规模数据以及海量数据的概念相似，但相异之处是大数据在数据复杂性、产生速度等方面远超现有的技能处理能力，且产生了巨大的产业创新契机。而以刘玉枫先生为代表的学者们认为大数据是指所涉及的资料量超过现有主流软件和工具的承载能力，通过合理时间内采集、管理、整理等为企业经营决策提供更为积极的一种资讯。作为一种基础性资源，大数据的商业价值绝不是只来自于数据本身，其更多源于企业采集、存储、使用大数据的能力。如果对学者们的观念进行整理归纳可以发现，这些基于大数据特征的定义多数强调大数据规模巨大到现有技术手段的处理能力难以承载。而那些基于其价值的定义也更多是对其价值实现的关注。当然，目前也有学者认为大数据的价值并不局限在数据本身，其只有上升到能力高度，其价值才能充分挖掘出来。

2大数据对企业管理决策产生的影响

决策贯穿于企业管理的全过程，管理决策过程可分为情报收集、计划选定等阶段。企业的管理决策应涵盖战略决策以及在战略决策过程中的各项具体决策，此类决策注重对组织未来和组织环境的预测，也注重组织内部资源配置和协调的实现。作为一项高度动态性和复杂性的管理行为，决策面对着信息收集、筛选、模糊性及各类冲突。大数据技术的逐渐成熟、数据的飞跃式碰撞，这些都对当前企业的管理决策产生重要影响。这方面的影响既涵盖了决策主体和思维模式，也涵盖了决策文化和组织模式等方面。

2.1大数据对管理决策主体方面的影响

一项有效的决策需具备相应的决策程序、文化、组织等，但究其核心还是决策的制定者，即决策主体。企业决策主体一般分为两类，一是企业高层管理者，高层管理者的职位权限能让其在重大决策中发挥关键作用。二是基层员工或一般管理者。对一般管理者和基层员工来说，他们创造的产品、服务和价值等更贴近社会大众的需求，这为其正确决策提供了便利。在此过程中，普通员工可以主动引导用户参与到产品的设计、推广、客户关系管理等环节中去，并依据用户的反馈，对产品、服务等加以改进，从而帮助企业实现快速发展。可见，普通员工也是企业获取决策信息的重要来源。在互联网经济时代，不同产业间的界限性越发模糊，而社会化决策也应用而生。在大数据背景下决策主体发生了转变，从决策权归属来看，一些表现出色的员工开始参与决策，决策主体并不再局限于管理层；从企业决策信息来源分析，因信息技术快速爆炸和普及，普通民众也可以成为大数据时代中的主角，均能通过数据利用参与或作出决策，这也意味着决策主体开始呈现多元化，正从企业精英向普通民众扩展，决策者之间的特征也越发复杂化。

2.2大数据对管理决策权配置方面的影响

大数据除影响决策主体外，也对企业管理决策权的配置方面产生着影响。笔者认为决策权配置主要包涵3个层面：①组织之间的决策权配置；②组织和外部环境间的决策权配置；③组织内部人员和部门、团队之间的决策权配置。此外，决策权配置分权程度也决定企业的决策权配置模式究竟是集中式还是分散式。集中式决策权主要指在组织系统中，决策权被较高程度地予以集中，其意味着企业较高、甚至最高的管理层掌握着企业组织的大多数决策。而分散式决策主要指决策权在较低管理层次上的分散，让各部门的管理者具备一定程度的自。在大数据背景下，企业所能获取的信息越来越多，决策组织也开始扁平化发展。信息技术能让中低层管理者基于全局视野制定更好的决策，以金字塔型为标志的传统组织结构逐渐被具备企业管理网络化等特征的扁平式组织结构所取代。企业决策权的配置也应遵循此变化，分散式决策注定要成为大数据背景下主流决策模式，普通员工也将拥有决策权限。随着大数据时代的到来，企业决策需更多人参与其中，因此，扁平化组织结构模式的优势更为明显。

2.3大数据对管理决策思维方面的影响

作为决策中的重要构成因素，决策主体思维的不同表现也决定在制定决策时，所依据的信息、方式等必然不同，且在决策制定的过程中也会予以表现。决策思维分为理性和感性，在大数据时代背景下，企业要尽量系统、全面、准确地收集信息，并通过数学方法来对其进行建模分析，从而挖掘出背后关系。传统管理决策模式对管理者经验和直觉判断非常依赖，而新的管理决策模式将会改变此种现象，即由“依靠直觉进行的决策思维模式”，向“依靠数据进行的理性决策模式”转变。

2.4大数据对管理决策文化方面的影响

在不同文化作用下，企业管理决策的选择方面必然存在差异。决策主体在目标确定、方案设计和决策完成的过程中，其文化价值观均在这些方面发挥着作用。传统管理决策多数取决于管理者对企业内外部环境的评估，主观性显著，企业更多关注管理者的思维情感，且管理者制定决策的决策文化也充斥着各种潜在的决策风险和事务。大数据时代来临后，也为规避这些风险和失误提供了契机。日渐成熟的分析技术及爆炸式的数据增长，都为企业更精准的预判提供了更多可能性。企业数据资源的获取渠道越丰富，决策者作出正确决策的概率性就越高。随着大数据时代的到来，企业要提升预判准确性须确立通过真实数据来确定企业决策的文化机制。有学者指出，管理者应注重相关关系，而非对因果关系分外关注，意思是企业应将关注的重点放在如何充分利用自身现有数据来发挥最大价值上，而不是只关注企业管理者脑中思考什么。

3大数据和企业管理决策管理影响因素分析

大数据时代的到来既为企业带来了大量商业机遇和契机，也产生了许多亟待解决的问题。同时，管理数据和大数据之间的关系也受到了多方面因素的影响，为此，笔者对影响大数据和管理决策关系因素予以充分关注，并在前人研究的基础上，通过宏观层面和微观层面展开分析，对大数据中的数据政策、行业结构、政府支持、技术发展及人才配置等进行探究。

3.1数据政策

数据在大数据时代中具有无与伦比的价值，其也成为新型商业模式和经济投入的基础因素。伴随着数据规模扩展及数据价值被日益注重，大数据时代数据趋于跨组织便捷化和数字化，因此，在宏观大数据背景下，数据政策是影响管理决策的最重要因素，此种数据决策一般包涵数据安全和责任、知识产权、隐私保护等方面的政策。数据本身存在可复制、可反复利用、泄密性高等特性，企业因此在为作决策而收集数据时经常要面对知识产权、隐私保护等方面的问题，为制定正确决策，获取充分数据，企业必须攻克数据获取障碍的难题。

3.2行业结构

麦肯锡研究报告指出，大数据价值获取难度很多时候会取决于行业结构和行业差异性。基于数据存储角度，行业总体的大数据增长趋势都很明显，各个行业在数据存储量上存在差异，产生和存储的类型也各有不同。企业的数据强度高，进行决策时则更为有利。

3.3政府支持

大数据不仅能为企业发挥卓越功效，在提高国家创新能力方面也起到重要作用。为此，大数据也被上升到了国家层面。政府扮演着政策制定者的重要角色。大数据可从信息通信技术基础设施建立、数据安全保护和信息机制共享的建设等方面为管理决策提供帮助。

3.4技术发展

相当比例的数据价值不是直接呈现给使用者的，其需要使用者对其进行创新性释放分析。大数据技术是作为基础对大数据和管理决策发挥着重要影响作用。容量大和速率较快的大数据工具也是大数据战略中不可分割的组成部分。对决策来说，大数据技术是不可或缺的因素，企业应保持其技术和技能方面的不断创新，从而有效应对数据洪流暴涨对其产生的新挑战。

3.5人才配置

随着数据越来越廉价，数据处理和提取能力的价值便越发凸显，而这期间，数据科学家和其他相关的信息专业处理人员地位尤为重要。数据分析和挖掘方面的人才匮乏，会严重制约企业数据分析挖掘能力的提升，也必然会对企业管理决策的质量和速率产生影响。为此，人才方面也是大数据影响管理决策的因素之一。

4结语

大数据引发了企业管理决策多方面的变化，也为管理决策创新提供了更多的机遇和思考方向。此外，大数据支持下的科学管理决策对企业商业模式和服务等的创新都极有裨益，因此，在大数据时代背景下，只有不断提高决策速率和决策准确性，企业的效益才能实现长久、良性增长。

主要参考文献

［1］何建华.大数据对企业战略决策的影响分析［J］.当代经济管理,2014(10).