大数据互联网论文

前言：想要写出一篇令人眼前一亮的文章吗？我们特意为您整理了5篇大数据互联网论文范文，相信会为您的写作带来帮助，发现更多的写作思路和灵感。

大数据互联网论文范文第1篇

Abstract: Website optimization, has been to bring attention to a problem, how to provide users build better user experience is the ultimate goal of Web site optimization. The article sets out from practice, mainly in the cache technology, pages compression, storage and availability optimization etc. on website optimization is discussed, and puts forward some reference suggestions.

关键词：用户；网站；优化

Key Words:Web;Data;Cache;

随着Internet的不断发展，各种新的技术手段日益的更新，人们接收和处理信息的方式也发生了巨大的变化，这已经成为不争的事实。据中国互联网络信息中心的《第25次中国互联网络发展状况统计报告》显示，截止到2009年12月份，中国网民规模已经达到3.84亿人，较上一年增长28.9%，互联网普及率在稳步上升。在各种网络应用中，我们可以大致分为四类：信息获取类；交流沟通类；网络娱乐类；商务交易类。以上应用绝大多数都离不开Web的支持，如何构建合适的Web网站，提供更好的用户体验，成为人们更为关注的热点问题。笔者以自己参与研究的河南省教育和科研网络论坛为例，从用户的角度出发，提出了在实践中发现的问题，并给出了Web网站优化的几点意见，以供参考。

一、面向Web用户的需求分析

据CNNIC提供的数据显示，中国网民继续向低学历人群渗透。2009年初中及以下网民群体增速超过整体网民增速，占到整体网民的35.6%，高中学历网民所占比例略微提升，大专及以上学历网民所占比例继续降低，网民学历结构更为均衡。从职业结构来看，中国学生网民群体占比明显下降，同时产业工人、服务业从业者、无业人员、农民群体等网民比重有所提升，越来越多的弱势群体开始使用互联网。

用户的需求包括功能性需求、性能需求、环境需求、可靠性需求、安全保密需求、用户界面需求、资源使用需求等。根据上文对网民结构所做的分析，从不失一般性的角度出发，我们可以得出Web用户更关注功能性需求、性能需求和用户界面需求，但作为Web服务的提供者，其他几种需求也是应该考虑到的。功能性需求是指用户想要得到何种Web服务，这是最主要的需求。性能需求是指用户应该得到满意的服务质量，包括在不同环境下得到相同的服务，信息传递延迟的要求等。用户界面需求是指用户能够在友好的环境下方便、有效、愉快地使用所提供的服务，从市场的角度来看，具有友好界面的Web具有很强的市场竞争力。

二、现有环境及问题分析

河南省教育科研网论坛（bbs.ha.省略）由河南教育科研网网络中心和郑州大学研究生创新中心于2009年共同创办，是一个面向全省的综合性门户网站，内容涉及大学师生的工作、学习、生活的各个方面。网站采用IIS6.0作为Web服务器，以Visual Studio2005作为开发工具，采用C#语言，以 2.0技术平台来实现页面的动态生成，数据库采用SQL Server 2005服务器。

整体而言，目前的用户使用网络的目的更趋于实用性，选择更多，更容易选择或离开一个Web站点，用户的耐心几乎成为一种稀缺资源。如何在用户可以忍受的范围内，将有价值的信息呈现给用户，是进行网站优化的最基本要求。美国一家独立调查公司的调查结果显示，网站必须在10秒之内对用户的访问做出响应，否则将流失至少30%的潜在客户。截止到2010年底，用户所能容忍的时间已从10秒缩短至不到3秒。在进行网站优化之前，我们必须了解以下三个事实。1、用户不阅读，只扫描。人们只是扫描一下网页，寻找其中感兴趣的内容，并点击他们，对于其他内容，毫不关心。2、用户不要最佳结果，满意即可。一个网页可能提供多个同一类型的链接，用户在扫描的时候，并不考虑哪个链接能提供最佳的结果，只是尝试性的点击其中一个，如果能够得到满意的内容，不会再去点击其他链接，即使点错了，再退回去，并不造成什么损失。3、用户不探究，只应付。人们使用现实中的某种物品，并不理解他的运作原理，而是按照自己的习惯去使用，比如对于某种电器产品，用户买回家后，很少去阅读使用说明，而是按照自己的理解（即使是错误的）去操作，只要能够顺利完成任务就万事大吉，这种应付的态度对于Web的使用也是同样的。用户并不按照设计师的想法去理解网站的运作原理，而是按照自己一贯的，某种有效方法去操作，即使有更好的操作途径。

三、基于用户的优化技术

在充分考虑到用户的感受和Web使用习惯后，我们可以着手从以下几个方面对网站进行优化。

1、使用缓存技术

高流量的交互性网站，往往会面临一个难题，就是反复大数据量的操作时，Web应用程序的性能很难保证，单纯依赖硬件的提升会直接造成费用的攀升。如果我们对经常请求且很少变化的数据加以缓存，那么就可以缓解这个难题带给我们的烦恼。提供了两类Web应用程序缓存：输出缓存和数据缓存。

输出缓存技术通过缓存从动态页生成的内容来提高请求/响应吞吐量。输出缓存在默认情况下是开启的，但是除非执行显示操作以使响应可以缓存，否则来自任何给定响应的输出都不会被缓存。页面的内容经过页输出缓存处理后存储在内存中。当用户再次请求这个被缓存的页面时，从内存中作出响应，而不必再次经过页处理生命周期。页输出缓存对那些不经常更改，但需要大量处理才能创建的页特别有用。可以单独缓存一个页面也可以通过配置Web应用程序的配置文件缓存多个页面。这样除第一次请求外，后续请求将直接从缓存中输出网页，而无需重新生成页面，从而节省了资源，提升了Web应用程序的整体性能。需要注意的是，网站缓存大量页面实例会消耗很多的服务器资源，在有些情况下，网站页面的大部分区域是不变的，因此只需要页的某些部分在请求的时候更新。为此，我们可以采用部分缓存功能。例如，可以通过创建用户控件来包含缓存的内容，与普通缓存页一样加入@OutputCache指令来指定缓存策略，或者在用户控件后置代码中使用PartialCachingAttribute类，以声明的方式为用户控件设置设置这些策略。如一个BBS网站的大量页面都包含一个静态公告，其他内容均为动态的，这部分静态公告就可以放入用户控件来缓存起来。

数据缓存的运行机制是将应用程序的数据缓存起来，以提高程序的性能。缓存是由Cache对象实现的，缓存实力是每个应用程序专用的。缓存生存周期依赖于应用程序的生存期；重新启动应用程序之后，将重新创建Cache对象。Cache对象具备过期策略，我们可以通过使用简单的键值对将项防止在Cache中，从而进行存取。例如：

Cache类提供了强大的功能，允许自定义如何缓存项，以及将其缓存多长时间。例如，应用程序运行中，服务器缺乏内存时，缓存会自动移除优先级较低的或很少使用的项以释放内存。这是缓存确保过期数据不适用宝贵服务器资源的方法之一。

2、使用页面压缩技术

对于一个HTTP请求，如果给予更少的应答内容，那么在服务器和客户端之间的传输时间将因为数据包的减少而减少，对于带宽较低的网络效果则更加明显。对脚本和样式表进行压缩是减少网页容量的最简单方法。GZIP最早由Jean-loup Gailly和Mark Adler创建，被用于于UNIX系统文件的压缩，目前已经成为Internet上非常普遍使用的数据压缩技术。大部分的Web服务器和浏览器都支持Gzip压缩。在服务器上的页面在传输之前，先使用Gzip压缩再传输给客户端，客户端接收之后由浏览器解压显示，这样一来带宽利用率被大幅度提高。对于纯文本的网页，压缩率是相当可观的。假如每个用户节约50%的带宽，那么网站租用来的那些带宽就可以服务多一倍的客户。但是，PDF文件和图片就不应该进行压缩，因为它们本身已经被压缩过了。虽然采用压缩和解压技术会带来一定的CPU负担，不过比起发送和传输时延的大幅减少所带来的收益，还是值得的。

3、使用存储过程

存储过程是存储在服务器上的一组预编译的SQL语句。在后台数据库的优化中，我们可以将部分常用的数据库访问操作封装为存储过程，这样做可以带来以下好处。首先，封装了基本事物，从而使数据库访问接口更加清晰、简洁，层次也更为合理。其次，存储过程可以提高数据库访问的性能，减少网络访问的数据交换。存储过程将相关事物封装起来，不仅符合数据库访问按事物进行的要求，而且可以将存储过程的访问结果进行缓存，从而提高访问性能。此外存储过程相当于函数，在使用时只需传输存储过程名、参数和参数的数值等数据，无需编写复杂的SQL语句，因此可以减少网络流量。再次，对于程序设计而言，存储过程可以简化编码，并有利于系统修改。存储过程封装了基本事物，这样可以增加代码的复用性、共享性和结构化，从而加快开发速度。此外，利用存储过程可以有效的减少在页面中分散的SQL语句的访问，有利于系统修改。如果需要修改数据库的逻辑结构，只需更新相关存储过程即可，对页面可以实现很好的封装和隔离，不必大规模修改页面。

4、可用性优化

Web界面优化是网站优化的一种延伸，是人机交互方式的演变。

①搜索引擎优化。现在的用户使用互联网寻求问题的答案时，总是首先想到求助于搜索引擎，但几乎从不看除第一页之外的搜索结果，因此搜索引擎优化就成为一个Web的重要内容。我们首先来看一下几个网络社区的首页标题。

搜索引擎往往会给予出现在页面标题中的单词更多的权重，而用户在浏览搜索结果列表时，通常会根据标题的内容来判断该网站所提供的内容。例如，新浪论坛首页标题中出现的“全球最大中文社区”，爱卡汽车论坛首页出现的“汽车论坛_汽车社区_爱卡汽车论坛|车友会_爱卡汽车网”等内容，很容易使搜索引擎，按照用户所提供的关键词搜索到该网站，也便于用户识别该网站所提供的内容，从而提高网站点击率。而河南省教育科研网论坛的首页标题就显得过于苍白，不妨改为“河南省教育科研网论坛_大学生自己的网上家园”。

②信息表现优化。首先应该为页面建立清晰的视觉层次，而且能够准确的描述页面内容间的关系：哪些内容相关，哪些内容是其他内容的嵌套。其中包括突出重要部分，可将重要内容以加粗倾斜的方式，或者用比较强烈的颜色进行显示；使逻辑上相关的部分在逻辑上也相关，例如可以把内容相关的部分放在一组或同一个标题下。

③采用人们熟悉的界面。

对比上面的图1和图2为的登录界面，除了必要的用户名、密码输入框、登录按钮、新用户注册和忘记密码的服务外，大河论坛还提供了站内搜索的功能。两个网站最大的不同在于，“帮助文档”的呈现方式。图1中的“BBS管理制度”，对普通用户来说几乎没有任何作用，更不会花费时间去阅读。但是用户在使用网站出现问题时，通常会去点击如图2中的“帮助中心”，并查询问题的解答。对于注重实用性需求的交互式网站而言，除非有一个更好的实用的创新，否则尽可能的采用人们习惯的界面。

④让内容易于扫描。现在的用户在非必要的情况下，不会去阅读整段的文字，因为那意味着，他们要从许多大段的文字中，寻找有用的信息，而这样做的效率是比较低的。一个比较好的做法是，控制网页中的文字性内容，使用户能够从简短的语句甚至单词的描述中，找到有价值的信息。比如，控制用户帖子标题和内容的字符长度。

四、总结

在交互式网站的优化中，诸如动态页面静态化，合理的选择控件，对用户个性化信息进行控制等方法也是可以采用的，但要考虑到网站的具体运行情况和所面向用户的使用习惯问题。无论如何，只有在实践中加以探索，才能达到更好的效果。

参考文献：

[1] 中国互联网络信息中心(CNNIC)第25次中国互联网络发展状况统计报告.省略.2010.

[2] 刘婕 张琳． 2.0+SQL Server动态网站开发从基础到实践[M].北京：电子工业出版社，2007.

[3] 张海藩 倪宁．软件工程（第三版）[M].北京：人民邮电出版社，2010.

[4] 董建民，傅立民，Gravriel Salvendy.人机交互:以用户为中心的设计

和评估[M].北京:清华大学出版社,2003.

[5] 魏璞.Web优化的研究及其应用[J].北京邮电大学工程硕士研究生学位论文,2008.省略

第2作者：段向东（出生1980年）， 性别：男（汉族）， 河南省郑州市，职称：助教，学位：工学硕士，研究方向：单片机技术及应用