前言:想要写出一篇令人眼前一亮的文章吗?我们特意为您整理了5篇大数据行业解决方案范文,相信会为您的写作带来帮助,发现更多的写作思路和灵感。
提供开放的大数据平台
在云计算、大数据时代,企业更需要以互联网的思维方式构建面向未来的分布式应用,这就需要一个全新的技术架构。从这个角度说,FusionCube融合一体机解决方案与面向大数据应用的SAP HANA相得益彰。
“SAP HANA是一个能够充分挖掘和体现大数据价值的解决方案。与传统的数据分析、商业智能解决方案不同,SAP HANA提供了一整套模型和工具,可以通过对大数据的分析预测未来的业务发展,给企业带来新的商机。”任志鹏分析说,“针对SAP HANA,华为提供了一个创新的技术平台FusionCube,将计算、存储、网络有机地结合在一起,并融合了华为分布式存储引擎以及云管理软件,使得大数据的实时分析与处理可以达到更高的水平。”在TPC-H测试中,华为FusionCube 刷新了基于Sybase IQ的集群性能世界记录,充分展示了其融合架构带来的性能优势。
大规模定制是云计算、大数据时代的一个典型特征。许多企业客户都需要厂商提供基于其个性化需求定制的解决方案。今天,针对不同企业的不同需求,华为提供了支持单节点HANA的RH5885方案和多节点HANA的FusionCube方案。任志鹏介绍说:“SAP HANA对基础设施有很严格的要求。华为FusionCube for HANA一体机具备更快的同步写性能、更低延时和更高的读写带宽,以及很好的线性扩展能力。FusionCube可实现一站式交付、家电化安装,并能按需灵活扩展应用,运维非常简单。”
华为FusionCube for HANA一体机已经在许多行业得到了应用。以金融行业为例,FusionCube for HANA在包括银行小微贷项目等在内的新兴业务中得到了成功应用。华为内部还成立了一支技术团队,专门负责支持SAP HANA。
交付“三位一体”
华为进军IT领域后始终坚持“被集成”的策略。因此在IT解决方案的推广过程中,华为与集成商、分销商一直保持紧密合作。华为FusionCube for HANA一体机就是通过富通集团在中国市场上进行销售的。“华为、SAP与富通集团基于FusionCube for HANA实现了三位一体的交付。”任志鹏表示。
谈到为什么会选择华为FusionCube for HANA,富通集团董事长陈健表示:“华为拥有极强的综合研发能力,其大数据解决方案FusionCube for HANA的综合性能指标在业内居于领先地位。华为以前在电信领域主要是通过直销方式,而进入IT领域后,非常需要借助系统集成商进行行业拓展。”
“存储是大数据的重点,我们需要做的就是发挥自身优势,瞄准大数据,为存储行业上下游合作伙伴提供更好、更专业的营销服务。”国内市场领先的专业IT分销商长虹佳华信息产品有限责任公司(简称长虹佳华)董事总裁祝剑秋对企业的增值分销业务有着清晰的定位。
产品与方案:
集聚业界最强资源
正如很多业内专家所说的那样,存储和安全是大数据迫切需要考虑的首要问题。
从海量数据产生的角度,以前数据量都是以GB或者TB记的量级。但如今,情况发生了改变,过去可能多年才能累计产生的数据量,现在可能只用很短时间就会积累起来,一些单位每年产生的数据量就可能达到几十TB,甚至不久的将来就会升级到PB级的数据量,将会占用越来越多的存储空间。
在解决海量数据的存储问题的同时,企业还必须要解决数据的安全性和可靠性等问题。所谓数据的安全性是指数据在任何情况下的可访问性,不会因为人为或自然的因素导致数据不可访问;数据的可靠性意味着即便是在极端情况下,数据发生损坏或丢失,仍有数据可被恢复或直接访问。
显然,解决这些问题必须要靠质量过硬的产品与解决方案。为此,长虹佳华近年来持续在云计算安全和大数据方面进行探索和投入,并且取得了很大成果:
在产品方面,长虹佳华以存储和服务器类产品为主,涵盖HDS、博科、昆腾、EMC、IBM等十余家全球知名、领先的数据存储业务服务商;在解决方案方面,长虹佳华帮助商为多种特定的行业用户提供行业解决方案,并且可以针对用户的不同需求提供定制化的解决方案,从而更加凸显了长虹佳华的综合实力;
在服务方面,长虹佳华并不仅仅重视售后服务,而是为用户提供包括培训、环境测试、技术支持在内的售前、售中、售后的一站式服务。以存储产品为主导构建增值业务群,如今已成为长虹佳华的既定战略。
近几年来,长虹佳华在原有合作伙伴的基础上,进一步与赛门铁克、Radware、博世、迈普等国内外知名品牌紧密合作,集聚了强大的产品与解决方案资源,整体解决方案能力和产品组合能力大大增强,进一步提升了长虹佳华“以数据为核心”的增值分销业务的服务能力。
CDSClub与云计算体验
暨培训中心:为数据安家
CDSClub与云计算体验暨培训中心,一直是长虹佳华享誉存储分销行业的代表之作。CDSClub一方面从技术整合出发,另一方面从渠道伙伴支持出发,两者相结合,就为大数据的应用与销售安下了最好的“家”。
CDSClub是从长虹佳华成功运作数年的SANClub升级而来,其主要功能是给特定的行业提供定制化的数据方案。升级后的CDSClub并不是仅仅局限于SAN架构一种主流技术,而是实现了跨平台的技术整合,使最终的数据方案更贴近实际应用,服务更统一,并且更有针对性。同时,方案的适用性也得到了极大提高。
目前处于国内领先地位的长虹佳华云计算体验暨培训中心,为渠道合作伙伴的数据方案、系统集成提供了演示、测试的广阔平台,对于渠道合作伙伴需要的不同产品组合应用测试、各类定制方案演示等都可轻松实现,是对渠道技术需求的极大补充支持。同时,该中心还充当起长虹佳华对合作伙伴及行业客户进行技术培训、资质认证以及设备服务的支持平台角色。
大数据浪潮正汹涌来袭,与互联网领域其他变革一样,这绝不仅仅是一场信息技术领域的革命,更是在全球范围内加速企业创新、引领社会变革的利器。现代管理学之父德鲁克有言:预测未来最好的方法,就是去创造未来。瞄准大数据的存储业务,长虹佳华正在向最强营销服务提供商迈进……
分销业务业绩骄人
长虹佳华信息产品有限责任公司(即长虹IT)的实际控制人为品牌价值为786.75亿元、净资产约100亿元的四川长虹。长虹佳华拥有长虹的资本、制造优势以及长虹佳华自身在IT领域的产业优势和独特的团队文化,是长虹IT产业的旗舰和支柱企业。
【关键词】大数据 体系架构 国产化 自主可控
1 前言
在全球已经全面进入信息时代的今天,数据已经成为与水、石油、天然气同等重要的国家战略资源。IDC报告指出,截止2011年底,全球的数据量已达到了1.8万亿GB,未来十年还将增长50倍,迅速积累的海量数据蕴含着重大的商业价值和社会价值。作为云计算领域的重要延伸,大数据在行业内的热度在不断升温。2012年我国大数据市场规模为4.5亿元,同比增长40.6%。IDC预计,全球大数据2016年将达238亿美元,中国市场规模未来5年将增长近7倍。
大数据技术最近几年在迅速发展,国内外的厂商和组织已经推出了多种大数据解决方案。在金融领域,已经利用大数据技术解决诈骗检验、IT风险管理和自助服务等问题,未来大数据技术将会起到越来越重要的作用。目前国内外很多金融机构如摩根大通、花旗银行,以及风电、太阳能发电、石化企业等制造业企业也开始采用大数据的解决方案进行设备监控、优化和故障预防[1]。
由于国内外针对商业机构系统频频发生的安全事件,国内各行业的信息化目前正在向基于国产软硬件和自主可控方向发展,大数据也是目前国内各行业重点关注的技术。很多厂商和企业纷纷进行技术研究、方案准备和内部测试,并逐步开始在历史数据查询、分析,非结构化数据检索等方向上开始使用[2]。从最近几年的趋势来看,安全、自主可控的大数据解决方案在大数据的行业领域有非常大的市场需求。
国内的很多关键行业应用,如金融信息系统的许多关键设备都没有采用国产产品,导致无法准确判断其安全隐患,这使得我国信息化建设的安全底数不清。迫切需要国内IT企业和行业共同研发自主可控、自主知识产权的信息系统、信息环境和信息安全产品。针对这种状况国家银监会提出了“自主可控,持续发展,科技创新”的三大战略[3],国产的信息化产品,在金融领域的应用已经开始了破冰之旅,事实也已经开始证明,自主可控的软硬件产品,在关键行业领域的应用是可行的,但是缺乏完整的经过验证的整体解决方案和实际案例,无法复制和推广。
本文基于国产软硬件产品进行自主可控的大数据体系架构研究要打破国外技术依赖,掌握技术命脉。针对现有行业关键系统多数是直接引用国外成熟技术,关键、复杂、核心的应用系统大多是建立在非自主产品上,形成了对国外的技术严重依赖的现状,本文的研究将可以在大数据领域打破国外技术的垄断,形成有竞争力的国产解决方案。
2 主要研究内容
本文主要研究面向行业应用、基于自主可控基础软硬件产品的大数据体系架构,研究内容主要包括:
2.1 行业大数据应用的需求分析
2.1.1 面向多源异构业务数据的采集和管理需求
在客户信息为例,行业内的集团企业经常会面临急需解决的数据集成问题,企业存在大分散的客户信息资源,并由各系统自主采集和维护,没有良好的共享体系,客户信息、订单信息等异构的存在不同数据源中,没有横跨多个业务领域的客户信息的统一管理和分发体系。因此,要求统一建设行业信息大数据管理系统,是一套为所有在线业务服务的、整合的行业信息大数据管理与分析系统,并具有行业先进水平的大数据管理和分析能力,以满足企业形成市场竞争优势的要求。
2.1.2 针对海量异构大数据的高性能存储需求
通过调研发现很多大型企业的信息系统已经积累了大量的业务数据,而且随着业务拓展的需求,大数据分析的数据源已经不仅局限于企业内部,如对客户流失分析或者产品销售趋势预测,就还需要互联网社交网络或者电商消费信息等。这些多源、异构、海量的数据对于大数据平台的存储提出了极高的要求。以某大型企业集团的客户和生产经营信息为例,数据规模已经达到上百TB容量,且相关数据量,特别是生产线的传感器数据和用户行为等数据还在持续大幅增长。
2.1.3 多样性大数据分析和处理需求
大数据分析系统不但集成了多个系统的数据源,未来大数据分析应用系统也会被多个部门,多个业务中使用,而且不同的部门和不同业务对大数据分析处理 的响应时间、数据量、结果准确程度以及具体的分析算法都会有很大差异。因此需要完整的对这些分析和处理需求进行分析,以便于设计满足当前和潜在需求的大数据分析处理架构。
2.1.4 行业大数据的安全监控和隐私保护需求
面向行业和企业的大数据平台都将集成来自于不同数据源的数据,其中有很多数据会涉及商业秘密和个人隐私等安全问题,所以这些数据在大数据平台中应该被合理的授权使用,并有完善的安全监控和隐私保护措施,以避免引起数据泄密或者隐私纠纷。
2.1.5 行业大数据平台的业务应用和可视化展现的需求
大数据分析的结果是更好的支持业务推广和运营决策,所以企业大数据分析还是要和现有的业务应用紧密结合,并且以简单友好的操作,以及可视化的方式直观的展现分析结果,这样才能被各部门和各级别的人员使用好大数据系统。
数据创造价值
慧科成立于1998年,以香港中文大学的一个学术研究项目起步,利用新闻检索技术采集信息,为企业提供媒体资讯和市场情报。由于当时互联网技术刚刚起步,慧科在迅速推出第一代 WiseNews产品后,获得20多家媒体伙伴提供转载授权,并在香港设立的“创新科技基金”的赞助下,得以快速发展。目前,慧科已先后在北京、上海、深圳、南京等9处设立分公司,拥有逾1100名员工(包含合约分析师),服务全球超过2500家大型企业,包括阿里巴巴、中移动、兴业银行、三星等。多年来,慧科为客户提供舆情监测分析和企业信息情报服务的创新产品解决方案,包括新闻数据库、公关、媒体和市场情报方案、社交媒体方案、金融及风险信息方案、商业智能方案等,协助客户随时随地掌握市场和行业信息、制定有效策略。慧科正以强劲的势头迅速发展,成为知名中文资讯商业智能方案提供商之一。
慧科讯业有限公司研究总监何超博士表示:“慧科早期的商业模式是从公关服务的角度出发,将传统中文媒体上的资讯电子化,也就是利用互联网技术对资讯进行处理,分门别类,在第一时间送达给客户。近年来,随着大数据技术的发展,数据价值凸显,采集数据、掌握数据、运用数据已成为企业的核心竞争力,大数据正在影响着商业模式的转变,为企业带来新的商业机会。慧科的商业模式也从之前的媒体监测转变为以客户需求为导向的全媒体大数据商业情报和市场情报提供商,目前覆盖全媒体智能检索数据库、媒体监测及舆情分析、金融风险舆情及资讯和商业大数据服务等四大核心业务范畴。”
全媒体大数据智能方案专家
慧科之前大部分的业务集中在PR方面,而现在拓展至综合的数据供应商和解决方案供应商。
何超表示:“慧科从之前业务集中在公关方面,到现在拓展至综合大数据,转变是以点概面的。因为,数据无处不在,随着计算机的处理能力日益强大,如果获取的数据量越大,数据挖掘到的价值就越多。慧科的优势就是在十几年的发展中同中国、新加坡、美国等近2000多家媒体结成合作伙伴关系,建立起集信息数据资源、信息管理工具和信息增值服务为一体的全方位、多层次综合服务数据库系统。并且,随着互联网媒体、社交媒体的快速发展,信息和数据更是快速地积累和流动,需要更高计算处理速度和复杂模型来提炼相关信息,挖掘真实的信息。慧科通过对网络、报纸、微博、微信、论坛等全媒体舆情信息进行监控、收集、处理、解析,提供一整套完善的市场情报,以及风险控制解决方案。”
对公司来说,情报中与业务相关的信息才是最关键的,通过数据洞察将信息添加到业务策划过程,可有助于公司制定一个多维度的可操作性的战略。
何超表示,在技术方面,慧科引入大规模分布式“网络爬虫技术”,提升信息精准获取和有效整合应用能力,并根据客户个性化的需求,为其提供高效的信息管理工具、定制化的信息情报系统,提供准确及时的情报,辅助客户作出商业决策。
在产品方面,慧科之前注重在传统纸媒上,主要从公关的角度出发,提供精准的简报服务,以人工为主,技术为辅,但传统媒体缺乏时效性、有效性,随着每天都有海量资讯在网络、微博、微信、论坛上传播,收集这些信息、理解这些信息成为大数据文本挖掘的重点。因为消费者在哪里,企业的营销方式就需要做出变化。当前,慧科紧随信息传播渠道的步伐,配合客户不断锐变的需求,从全媒体角度出发,以大数据技术和人工服务相结合的方式提供四条产品线:一是全媒体智能检索数据库,通过智能媒体资讯搜索,帮助企业相关部门、研究咨询机构、高校等,快速锁定精准的商业资讯;二是专为公关及市场人员量身定制的全媒体监测洞察解决方案,包括WiseEnterprise舆情监测分析、WiseSocial社交媒体营销评估及品牌洞察、以及WiseInsight全媒体研究报告体系三大板块,帮助企业时刻掌握最新舆情,即时发掘重要商业资讯和情报,做出明智的决策;三是WiseSignal,提供全面的金融财经信息,一站式监测和管理风险;四是WiseBI商业大数据服务,慧科透过大数据分析,准确掌握业务状况,制定最佳决策。
慧科讯业有限公司 BI产品总监李晓伟表示,慧科未来将构建基于互联网大数据的生态系统,除了对文本数据进行语义分析和情感分析以外,还将对行为、交易、CRM等数据进行扩展,目前正在与上下游的合作伙伴合作来打通相关数据链路,从而实现更精准的企业竞争情报分析和消费者刻画,为企业的市场、营销、品牌等经营决策提供数据支撑,实实在在为企业带来价值。另外,将重点针对垂直行业提供解决方案,比如为汽车、快消、3C等行业提供品牌监测、产品体验分析、用户服务分析、营销活动监测、消费者刻画等有针对性的解决方案。在传统业务上,也针对PR行业进行产品升级,提供更加及时快速和精准的分析工具、预警研判的平台产品,真正实现大数据对业务的支撑。
更胜一筹的中文语义分析
有别于一般的大数据应用,慧科作为中文资讯服务商,在中文自然语言处理方面积累了丰富的经验,多年来一直致力研发语言学及人工智能技术,并为了更好地服务客户,对普通话和粤语的分析大力投入,使其在中文语意分析上更胜一筹。慧科独家研发的“排版转换技术”系统 (ENMPS),将大量繁、简体中文内容转化至一个易于搜索并具弹性的数据库。慧科的“雅博中文全文检索系统”(IPOC),融合了语意学与上下文的脉络关系逻辑,用户可以用词语、词句进行检索,搜索的灵活性和准确性均大增。
何超表示:“大数据时代的资讯监测、分析与挖掘,离不开海量的数据存储与处理,同时特别需要人工智能技术(如机器学习、深度学习、数据挖掘、自然语言处理、图像识别等),及大规模分布式计算与存储技术(如Hadoop、 Spark、流计算、图计算、GPU加速等)作为支持大数据解决方案实现的技术基石。慧科注重技术的发展,成立了独立的慧科研究院,目前团队20人毕业于中国、英国、德国、丹麦、加拿大等知名高校,85%以上具有硕士或博士学位,专注中文智能化的分析,即在大数据的基础上对中文自然语义进行智能的解析与挖掘,聚焦的研究方向有文本挖掘与社会媒体分析、自然语义分析与知识图谱、情感分析、深度学习与机器学习等。”
何超举例说,“敏感”一词带有情感意义,但是在不同行业中的极性不同。比如,在汽车行业提到“操控敏感灵活”是正面词,但在化妆品中提到“皮肤敏感发炎”就是负面词,这就需要结合具体的场景,才能给出正确的结果。慧科除了文本挖掘以外,在品牌识别、图像识别等方面的成绩也很不错。
慧科通过行业知识和自然语言处理技术,进行数据整合、分类和分析,让客户可以透过慧科的解决方案掌握有价值的资讯,发掘各种资讯之间的关连性,洞悉危与机。慧科有专职的语言学编辑团队维护行业知识;同时也为研究院提供标注数据供其训练人工智能分析模型。
“慧科的定位不是纯技术公司,也不是仅为公关公司提供简报的人工服务公司,而是把人工和技术深度结合,并应用到企业业务场景去,从而成为提供专业精准的全媒体大数据智能解决方案的公司。公司的未来,媒体的提供渠道在不断改变,慧科作为囊括传统与新媒体可靠内容的中文媒体及商业情报公司,必须提供最全的数据,帮助客户在第一时间获取最相关、最重要的、及最有价值的东西,紧跟市场的变化,根据客户的需求,提供一站式解决方案。”何超表示。
6月27日,我国本土的数据库厂商代表北京人大金仓信息技术股份有限公司(简称人大金仓)召开会表示,将打造大数据中心一站式服务来全面迎接大数据时代的到来,深化以市场为导向的产品研发策略,快速向集数据管理、集成、分析展现、安全保护和服务于一体的平台型、一站式解决方案提供商转变。
打造一站式解决方案
随着大数据技术研究和应用的迅速发展,美国奥巴马政府意识到大数据技术的重要性,将其视为“未来的新石油”,作为战略性技术大力推动其发展。3月29日,奥巴马政府在白宫网站了《大数据研究和发展倡议》,旨在提升充分利用大量复杂数据集合获取知识和洞见的能力,并将为此投入两亿美元以上资金。
我国的学术界对大数据的关注也越来越密切。作为一个组成部分,大数据和数据库技术一样,关乎国家的信息安全。国产数据库专家、人大金仓首席科学家王珊教授指出,在大数据应用环境下,若国产数据库不能满足用户在数据管理、数据分析、数据挖掘等方面的需求,用户则只能选择国外厂商的产品,这对国家信息安全将构成重大隐患。
这个问题已经引起了我国数据库厂商的关注。作为我国本土数据库厂商的代表,人大金仓希望从单一的数据库产品提供商向数据整体解决方案供应商转型。
人大金仓总裁任永杰表示:“在大数据时代,用户的需求已不仅仅局限于数据存储,而是向数据管理、分析、展现、挖掘等多元化方向发展。我们计划用3-5年的时间,将人大金仓打造成为国产大数据中心一站式解决方案提供商。”
收购思迈特
任永杰透露,几年前人大金仓就已经在布局相应的解决方案。
记者从会上了解到,作为人大金仓以数据为核心的整体方案提供商发展战略的核心产品,人大金仓数据库产品Kingbase ES V7在刚刚结束的第十届中国国际软件和信息服务交易会上以突出的性能、高安全性、支持云计算、能良好应对企业海量数据管理面临的全新挑战的能力荣获最具竞争力产品奖。
作为打造数据中心一站式服务的重要举措,人大金仓近日还收购了广州思迈特软件有限公司作为其控股子公司暨广州技术中心。据悉,思迈特专门从事商业智能产品的研发,其核心产品Kingbase SmartBI商业智能应用平台能够实现数据预处理(ETL)、仪表盘、灵活查询业务报表、多维数据分析、数据挖掘、GIS展现、元数据管理等功能,并支持iPad/iPhone等移动终端展现。此外,思迈特还提供面向行业深入分析的商业智能解决方案,旨在帮助用户深层次地发现和挖掘数据价值进而转化成商业价值。