前言:想要写出一篇令人眼前一亮的文章吗?我们特意为您整理了5篇仓库优化管理范文,相信会为您的写作带来帮助,发现更多的写作思路和灵感。
关键词:SAP系统;二维条码;PDF417;C#
1 开发背景
某外企成品仓库依靠SAP系统管理。仓库货架高度为10米左右,宽约4米,被划分为一个一个的单元来存储产品。在SAP系统中,称这样的单元为一个标准货位,英文为BIN。SAP记录仓库内的产品库存信息及BIN位分配信息。从车间生产出来的成品,经过SAP系统的转移分配,会被放置到这样的货位上,发货时根据发货产品需求,SAP按先入先出原则发货。
具体流程如下:
(1)产品下生产线进行包装,在SAP系统做从车间到仓库的转移操作,生成产品转移单(Transfer Order,即TO单)。
(2)小箱作员送往仓库,数目不固定,1箱-100箱不等,操作人员在SAP系统中扫描TO单,SAP系统生成为这些小箱分配的货位信息看板,操作人员根据看板中的货位信息,将小箱放置到货位上。
(3)发货时,要依据先入先出原则(即先进入仓库的成品先被发走),到仓库货位上取下要求数量的产品,将这些产品打好包装,然后发货。
2 需求分析
(1)能否通过现有SAP系统内的优化解决上述问题?
在目前SAP系统做上述优化,需要支付大量开发经费,同时还带来新流程上线导致的发货运转不稳定的风险,所以需要在不破坏现有流程及系统的前提下,做优化。
(2)怎样避免仓库货位浪费?
仓库大货位上存放的都是整托(恰恰一个货位的容量)的产品箱数,充分利用每一个货位空间,避免造成货位浪费。保证了仓库货位上都是满货位(整托)的需求,因此取货时,也就减少了叉车的使用量,不必为凑一托而跑遍多个货位取货。
3 系统功能设计
(1)怎样使上到仓库货位的成品都是满托的?
在SAP系统内,建立一个Location,独立于车间和仓库;在实际的工厂内,也建立这样一个区域。所有成品,先在这个区域内集结,当满托的时候,将这些满托的产品打一个大包装,然后通过SAP转移到仓库的大货位上来。由于具备时时取货、时时上货的特点,类似我们生活中的超市,所以将这个Location命名为成品超市,在SAP系统内的代码为WFGS。
(2)如何管理“成品超市”?
放置二个货架,命名为F01、F02,每个货架分为四层A、B、C、D,每一层分为16个格子,1至16。这样,就完成了对超市货位的定义。如:第一货架的A层12道,即为F01-12-A,这样的一个单位称为一个BIN。根据箱子大小,放置在BIN上的数量也是不同的。最多放置16箱,最小放置5箱。产品的种类决定这个数量。车间生产的成品,一次交付的箱数不定,系统为进入成品超市的箱子分配BIN位,并指示操作员每个BIN位放置的箱数。
(3)开发外部应用程序,管理成品入超市、出超市、满托提示、统计的功能。
入库时,要满足先进先出要求,完善的补货机制和重货低位机制。
通过系统为产品分配货位的时间,来确定从货位取货的先后顺序的这个手段,来实现先进先出。
由于超市的BIN位数量有限,所以必须高效利用BIN位,同时又要保证先入先出原则还要确保BIN位的独占性。即:一个空白BIN位,被一种产品占用后,如果该BIN位未满,下次再有同类产品进入货位,必须能够填补这个货位,即补货机制。但补货机制,不能违反先入先出规则。于是,在先入先出的基础上完善了补货机制,下面给出实例:当有A、B货位上同时存放产品X,但都不满的时候,这时再入库产品X ,系统挑选A和B货位中分配时间靠后的货位进行补货;而出货时,根据货位分配时间,先分配先出库,这样就保证了先入先出原则,而且也最大限度的利用了货位。
(4)PDF417码的生成
应用开源程序库,通过编程方式来调用。生成PDF417码,并由程序按照要求来生成标签,支持多次打印。
(5)系统编程
采用Microsoft .net 框架,编制桌面应用,采用面向对象的编程语言编制外部应用程序,管理成品超市,数据库采用oracle10。
4 系统运行效果
通过该超市系统的使用,极大地加快了各个扫码工序的扫码速度,节省了时间,贴装条码的时间也随着条码抗干扰性能的加强而缩短,整个流程节省的时间,按照人力成本,每年会给工厂节约¥3,600。
最大限度的利用超市区域的Bin库存的同时,还保证了先入先出原则,同时重货能进入到低层货位,方便了操作员。
由于加入预包装的流程,减轻了发货时的时间压力。
该系统优化了产品包装、上货位、发货的整个流程,方便了企业,并做到质量把控,完全实现了需求分析中的各项功能。
结束语
基于超市思想和流程定义的软件目前已经在该企业仓库应用。新软件应用之后,仓库货位的碎片已大幅度减少,取货、发货时不需要查询多个货位。因为改变了包装箱签,降低了包装贴签的复杂度,同时提高了各个扫签环节的效率,节省人工的费用每年可达¥60,000。完全实现了最初的需求定义,并采用正则规则匹配货位,使得一些比较重的货可以进入相对低的货位,方便了操作人员,得到他们的认可。新的流程,完全符合精益生产思想,为企业的管理节约成本,提高效率。
参考文献:
关键词:汽车;物流仓库;利用率
在汽车产业的运营中,仓库面积的合理使用可以为企业节约成本,并且可以最大程度的提升仓库的利用率。但是在企业对物流仓库的实际管理中,存在可利用面积小和利用率低等现象,不利于控制企业的物流成本。针对这种现象,企业制定合理的措施来提升汽车物流仓库的利用率具有重要的意义。
1.汽车物流仓库管理中的问题
1.1供应链各节点的库存意识不强
在汽车物流仓库的存储中,供应链中的供应商、制造商和销售商缺乏整体的存储观念,不利于提升汽车物流仓库的存储效率。供应链中的各个主体为了保证自身的发展,都具有自己的库存,虽然这种模式有利于供应链中单体的成本控制,但是不利于提升供应链的整体存储效率。例如在汽车制造企业的发展中,根据周计划和月计划来筹集零件,会使供应链的整体存储达到最大值,继而会导致供应链的库存量整体偏高,造成了资源的浪费,不利于提升汽车物流仓库的合理使用效率。
1.2进口件的库存率较高
汽车物流仓库的进口件库存较高,不利于保证物流仓库的使用效率。主要是由于进口零件的使用具有一定时间的预定周期,导致供应链中的各个主体持有一个月以上的进口零件库存量,在一定程度上占用了物流仓库的存储空间。同时,由于零件的包装标准缺乏统一性,致使进口零件只能存储在货架的下层,不利于提升货架的使用效率。
1.3缺乏统一的技术标准
在物流技术应用于存储的过程中,由于缺乏统一的技术标准,或者其他因素的影响,会导致物流技术难以发挥应有的效果,继而会影响物流仓库的存储效率。例如,产品供应商的设计尺寸和货架标准不统一、托盘尺寸不统一和材料性质不统一等问题限制着仓库利用率的提升,进而会降低物流的工作效率,最终会导致汽车物流库存的存储量过高。
1.4汽车企业缺乏对仓储的控制
汽车企业在生产制造的过程中,对零部件的库存缺乏有效的控制,致使汽车企业的内部库存较高,不利于提升仓储的利用效率。例如在汽车企业的确认收货过程中,常常会出现供应商供应时间不统一的现象,汽车制造企业为了保证正常生产,会全数接收供应商提供的产品,进而会增加仓库的存储压力,不利于提升企业的存储效率。
2.汽车物流仓库的利用率提升对策
2.1优化存储空间
在提升汽车物流仓库利用率方面,优化仓库的存储空间是有效的提升手段。在仓库的整体结构不变的情况下,只有对仓库的货位、货架和巷道进行调整,才可以最大程度地提升仓库的利用效率。在货位的调整方面,企业可以将常用的货位放在便于提货的区域;对于货架的摆放,首先要根据货物的使用次数来进行摆放,其次要根据同种类型来进行摆放;对于巷道的设置,要保证运输货物的线路最短,并且要保证成本最低的原则。只有优化仓库的存储空间,才可以最大程度地提升仓储效率。
2.2根据要求选择货位
在物流仓储中,部分零件的面积较大,并且零件的尺寸缺乏统一性,难以有效地进行仓储管理,因此,只能采用地面堆放的方式进行堆垛。管理人员需要根据零件的不同尺寸来选择货位,并且在存储的过程中,需要根据零件的利用效率来选择存储的货位。另外,零件的堆放必须满足消防的要求,要保证合理的通道和消防安全。只有在零件的堆放中选择合适的货位,才可以最大程度地提升仓储效率,进而可以最大程度地控制成本。
2.3货架层高的优化
汽车物流仓库的存储主要包括铁箱、折叠箱、托盘和专用料架的存储,在进行货架的设计的货位选择时,必须保证结构合理和成本最低的原则。在结构方面,要保证存储空间的合理性,铁箱、折叠箱、托盘和专用料架必须有足够的存储空间,同时要保证巷道的宽度合理性;在成本控制方面,企业在制定合理的货架优化方案后,要选择合理的成本控制方案,要以价格最低的方式完成货架的建设和摆放。只有对货架的层高进行优化,才可以在固定的空间内创造最大的存储空间。
2.4优化承托方式
传统的物流仓库格挡方式是采用承托格挡,不利于提升货物的提取效率,并且不利于节约成本。针对这种现象,企业可以将格挡方式更改为铁丝网格挡方式。铁丝网在条件允许的基础上,可以随意拆分,最大程度地提升货物的提取效率。另外,相比于传统的承托格挡方式,铁丝网经济实惠,可以降低仓储成本。
结语
在我国汽车物流仓库管理中,存在管理意识不强、结构设计不合理和缺乏统一标准等问题,影响着物流仓库利用效率的提升。希望通过本文的介绍,相关企业可以制定合理的措施来优化仓库的设计,以便可以最大程度地降低仓储成本,并且可以提高仓储效率。
参考文献:
[1]刘红蕾.汽车制造企业物流运作模式优化研究[J].企业改革与管理,2015,01(11):82-83.
[关键词]汽车零部件;售后物流;循环取货;路径规划
[中图分类号]F252[文献标识码]A[文章编号]1005-6432(2014)18-0035-03
1引言
汽车物流是涉及面广、技术复杂度最高的领域之一,而零部件物流配送又是物流系统良性运作并持续优化的关键环节。
2零部件配送流程及问题分析
2.1零部件配送流程介绍
假设公司共有9个零部件售后仓库,由配件中央总库CPD、6个发货仓库、2个非发货仓库组成。公司现有的售后网络布局为多级仓库布局,其中1101至9106为发货仓库,1001、1002为非发货仓库。上海大众零配件放于CPD与发货仓库中,当两者库存不足时,将配件放在非发货仓库。发货时,CPD需要集齐所有发货仓库的配件才能发货,非发货仓库也能直接向CPD供货。每个发货仓库储存一定种类和数量的零部件,同时7个发货仓库储存的零部件的种类各不相同。
2.2针对零部件配送流程的问题分析
随着需求量的增大,零部件在配送过程中会暴露出很多的问题,由于各个任务量到CPD的距离不等,各个发货仓库到达CPD的时间一般不一致,当时间来不及时就会导致订单需求无法及时完成;由于每天的订货量较大,但CPD总库及各个发货仓库的库存有限,两个非发货仓库对发货仓库的补货不及时造成订单也无法按时完成等。
针对零部件售后物流配送系统中存在的缺货、存货不足以及补货不及时等问题需进行流程优化、配送优化、补货策略等的改进,充分实现多级仓库协同一体化的零部件同步化配送,以更好地满足不断增长的市场需求。
3多级仓库网络规划设计
3.1公司现有仓库布局
仓库的基本情况如表1所示。
表1仓库的基本情况类别1仓库编号1面积(m2)1距CPD路程(km)发货仓库1CPD14200011011360016.4110211500013.211031100013.9110411450013.7110512500013591061211812.0非发货仓库110011500015.310021900014.1
3.2新建仓库选址及规模
为了提高订单完成率和实现多级仓库配送同步化的目标,这就涉及非发货仓库对新建仓库的补货量以及CPD对新建仓库的订单分配量,企业追求的最终目的是运输成本的最小化,而运输成本的最小化必然与各个路段的距离和运输费率有关,必须考虑它们之间的距离,力求运输成本最小,基于以上各种因素的考虑,在众多的仓库选址方法模型中,重心法是最佳选择。
(1)重心法进行决策的依据是产品运输成本的最小化,涉及的数据也是理想化的,这样就涉及如下几个假设前提条件:
第一,运费是不随运距变化的固定的部分和随运距变化的可变部分组成,而在此案例中,运输成本在公式中是以线性比例随距离增加的。
第二,配送中心所处地理位置不同会导致成本出现差异,而现在假设此差异不存在,也就是说此项目中的运输成本是以运输费率的形式出现,是单位化的。
第三,模型中发货仓库与CPD、发货仓库与非发货仓库之间的路线假定为直线,而实际应该选用的是运输所采用的路线总路程,而不是位移。
第四,不考虑零部件物流公司经营可能造成的未来收益和成本的变化,保证此决策环境的相对静止。
(2)模型建立
重心法的具体运用第一步是设有n个分销中心,它们各自的位置坐标为(Dix,Diy)配送中心的坐标(Cx,Cy),因为总费用=单位运输费用×运输距离×运输量。
Hi=RiDiQi
Di=(Cx-Dix)2+(Cy-Diy)2
Di――配送中心到第i分销中心的距离;Qi――运到第i个地点或从第i个地点运出的货物量;Ri――第i个分销中心到配送中心的运输费率。
设配送中心到各用户的运输费用之和为H,则
H=n1i=1RiDixQi
=n1i=1RiQi(Cx-Dix)2+(Cy-Diy)2
公式可简化为:
C*x=n1i=1RiQiDix/Di1n1i=1RiQi/Di
C*y=n1i=1RiQiDiy/Di1n1i=1RiQi/Di将数据代入上述重心法公式中得出新建仓库坐标为(3.3,2.3),并大概推算出新建的仓库的库容为7072m2。
4零部件同步化配送
4.1多级仓库循环取货模式
用循环取货(Milk-run)物流模式取代传统的配送模式,在一定程度上可以实现零部件同步化配送,提高订单的完成率,还能充分利用资源,降低物流的成本。
4.2循环取货路径规划
(1)C-W节约算法原理
图1C-W节约算法原理
此时节省的运输距离为:
d=d0i+d0j-dij>0
不难看出,进行循环取货的路径设计既有利于配送的同步化也有效降低了车辆使用成本和环境污染成本。
(2)改进节约算法模型
改进的节约算法流程如图2所示。
利用节约算法确定配送路线,根据车辆运载能力、各仓库间距离以及订单的需求量,制定零部件售后同步化配送的方案。
目标:外库与总库发货的同步性和补货的及时性。
假设:(1)栏板车的速度始终为45km/h;
(2)一天中路况情况大致一样;
(3)拣货及时。
约束条件:栏板车的容积限制(大约23、短驳时间有限)。
根据仓库的布局,求各仓库间最短距离,简化线路如图3所示(单位:千米)。
图3简化路线综上,根据最短路径法得最短路线为A―B1―C1―D和A―B1―B2―C2―D,其路程为2.4千米。
后根据各仓库间最短距离矩阵、各仓库间行驶时间距离矩阵以及各仓库发货信息计算出各点的节约值距离矩阵。改进的节约算法求得的优化路径如图4所示,车辆调度如表2所示。
图4优化路径结果
表2改进的节约算法优化路径车辆1车辆行驶路径1运输总距离(千米)1装载体积(立方米)1实际装载率(%)11110311011102CPD1103110.11231100211104110291069107CPD1104110.55118.08178.6311102CPD11021321231100411104CPD110417.41231100519106CPD9106141231100
根据节约算法求得的计算结果为:此次短驳过程共走9趟,比原来少了5趟车程,运输总距离为64.04千米,较原来减少19.45千米,平均实际装载率为97.6%,比原来提高了54.53%。
4.3循环取货下同步化配送效果分析
在此过程中,循环取货的应用解决了各仓库到CPD的距离不等而使零部件到达CPD的时间不一致问题,实现了零部件同步化配送。通过对节约算法模型的改进,进行循环取货路径的优化,减少了运输距离,提高了车辆的装载率。运输距离的减少、资源的有效利用既减少了物流成本又符合当今低碳物流理念,有利于提升经济效益。
5结论
本文主要是对循环取货模式的阐述及对循环取货路径的优化,基于该模式来实现多级仓库协同一体化的汽车零部件的同步化配送。通过新建仓库、建立多级仓库协同一体化机制以及应用取货模式对多级仓库进行协调优化从而达到多级仓库的协同一体化,提高订单完成率,降低物流成本。
参考文献:
[1]孙凤英.汽车配件与营销[M].北京:机械工业出版社,2011.
[2]姚城.物流配送中心规划与运作管理[M].广州:广东经济出版社,2011.
[3]车昱.基于绿色供应链的循环取货模式研究[D].北京:北京交通大学,2012.
[4]郝海,熊德国.物流运筹学[M].北京:北京大学出版社,2010.
奥运物流是指为举办奥运会所消耗的物品(包括商品和废弃物)从供应地到接收地的实体流动过程。奥运物流的内容可以从服务的客户群、与奥运赛事的关系、地域范围、时间范围、服务形态、服务项目内容等不同角度进行分类分析。从而形成奥运物流的多维立体架构,也说明奥运物流管理的复杂性。
为精确、准时完成奥运物流。2008年北京奥运物流采用“奥运精益物流系统”具体实施管理运作。“奥运精益物流系统”主要特点之一是物流信息化,而其精髓是可视化。奥运物流可视化智能监控信息平台的系统结构分为三个组成部分:1)可视化仓库管理系统:是对计划存储、流通的有关物品进行相应的可视化监控管理,主要包括对存储的物品进行接收、发放、存储、保管等一系列管理活动;2)可视化在途货物监控系统:指对在途物资进行可视化监控管理,主要包括对运输车辆路线优化和物资的跟踪、管理、查询等一系列活动;3)查询监控系统:是对奥运物资的状态进行查询监控,主要包括物资的跟踪和查询等一系列活动,以满足奥运物流服务及时性、安全性、准确性的需要。
奥运物流可视化智能监控信息平台,可准确定义奥运物流信息平台的边界、合理划分奥运物流信息平台与其他信息系统的合作关系、确定奥运物流信息平台的控制功能和信息流向,实现与奥运物流活动中各物流单位之间的实时信息交流和宏观监控协调。通过可视化的系统管理可以更加简明、直观地对物资进行监控。
北京奥运物流中心可视化仓库系统
2007年3月8日,位于顺义空港物流园的北京奥运物流中心(OLC)正式启动。奥运物流中心将为奥运物流提供五方面服务:众多奥运物资的仓储基地;实施奥运物资安检的场所;奥运会各种物资、各种运行车辆的编制、调度中心;北京奥组委实施物资追踪、资产管理的重点区域;奥运物资通关、检验检疫的场所。
在奥运会期间,UPS公司将通过这座奥运物流的“中央枢纽”为奥运会所有的竞赛场馆、非竞赛场馆以及众多训练场馆提供物流保障服务。届时UPS将代表北京奥组委进行货物的接收、存储、出库,以及各场馆之间及场馆内的运输配送和赛后反向物流的运作。
比赛地物资的仓储与比赛器材配送管理是奥运物流中心的核心业务之一。2008年北京奥运会中27个项目的比赛集中于北京的5个赛区。根据不同的配送方向和配送量,各种体育器材、比赛用品、技术设备、医疗设备、安保设备、通讯设备、电视转播、新闻报道设备和奖牌、奖章等物资的仓储发放必须采用精确、准时、智能化、可视化的仓库管理模式进行支持。
可视化管理系统是一套全方位的仓库管理工具,一方面,它作为仓库管理系统,按照常规和用户自行确定的优先原则来优化仓库的空间利用和全部仓储作业;另一方面,实现了仓库管理的可视化,能够及时、准确地掌握物品的位置、状况、活动等信息,实现仓库供应保障辅助决策,从而提高仓库管理水平和质量。它可以与企业的计算机主机联网,由主机下达收货和订单的原始数据,通过无线网络、手持终端、条码系统和射频数据通信(RFDC)等信息技术与仓库的员工进行联系。
可视化仓库系统的设计
面对繁多的出入库流程和信息,以及仓库错综复杂的货区和货物的码放,如何提高仓库存储效率、提高仓库操作人员工作效率,成为管理者所面对的重要问题之一。运用可视化管理系统,有助于提高仓库的存储和作业效率,达到高效物流系统的要求。
1 系统设计目标
可视化库存信息系统的设计目标通常是:实现库存信息可视化、库存货物及其状态的可视化跟踪、可视化查询结果的输出、自动生成库存操作单据、为管理者提供多方位、直观的统计信息。
2 主要功能模块
(1)数据管理。对整套可视化系统数据进行安全加密、维护、备份及灾难性恢复等功能,为用户提供安全可靠的数据存储。
(2)标准化管理。统一进行标准化代码管理,包括物品代码、货位代码和人员代码。
物品代码:严格按照有关规定标准进行物品定义和维护,使用时根据实际情况在该标准的基础上进行细化与补充。整个系统应用统一的物品代码,并具有物品代码增加、修改、查询、删除等功能。
货位代码:根据实际情况进行货位代码定义和维护,并具有代码增加、修改、查询、删除功能。
人员代码:提供建立不同岗位人员简明人事档案功能。为每个人员设置不同的代码,并根据岗位或职务设置不同的使用功能权限。
(3)模型管理。提供各种库房、物资及附属设施设备等的模型及相关数据、信息,让使用者能够清晰直观地了解到库房内所有设施设备的基本情况与库房内部情况。
(4)日常业务管理。对物资出入库和存储阶段进行优化管理,如自动查找满足作业要求的物资,直观显示其所在位置,提供较为合理的出入库建议,自动生成作业单据,提高物资的流转效率。具体分为以下几个子模块:
入库作业与优化:根据不同的管理策略、货物属性、数量以及现有库存情况,自动设定货物堆码位置、货物堆码顺序建议。从而有效地利用现有仓库容量。提高作业效率。
在库管理:在库管理主要是指物品在库期间的日常管理、清查盘点、保管养护、存储时间检查,以及为了便于管理物品和更有效利用仓库容量而进行的并库、移库操作。
出库作业与优化:根据不同的管理策略、货物属性、数量以及现有库存情况,自动组合、确定货物位置、货物拣选顺序建议。支持紧急拣选,对超过一定时间的产品进行优先拣选。盘点管理:提供实盘数量与账面数量对比调整功能。
(5)查询统计分析。对物流中心仓库物品所处状态进行查询,并可提供相关报表、进行可视化货位显示和库存图表统计,为管理决策提供及时准确的数量信息,并能自动生成和打印报表。
(6)实时监控。利用安放在库房内不同方位的摄像头,对库房内部实时进行监控,确保物资存储的安全。
可视化仓库管理系统的功能结构如图1所示。
在可视化系统主体功能的支持下,对系统进行出入库作业时,首先对每个货位赋权值。根据货位权值从大到小的顺序将仓库划分为不同的区域。结合各种货物的数量。将货物分配到不同的区域。进行入库操作时。先找到该货物所在的区域,然后从状态为空的货位中选出权值最大的货位进行入库操作;进行出库操作时,同样先找到该货物所在的区域,然后从状态已满的货位中选出权值最大的货位进行出库操作。在对系统进行可视化设计时,主要考虑方便仓库管理人员以及管理者了解仓库内货位的存储结构及货物的存储位置。查找仓库内风险控制点。根据每个货位的存储量,系统将数据库中各货位货物存储数据文件以不同颜色映射在每个货位上,并可根据需要显示每个货位的详细记录,使仓库中的各货位信息显示更加直观、形象。此外,结合系统的库存统计查询功能,便于管理人员及时准确地掌握仓库货物的详细情况。
关键词:数据仓库;运行监视;性能优化
中图分类号:TP311.13 文献标识码:A文章编号:1007-9599 (2012) 07-0000-02
数据仓库系统在规划、设计完成之后,要将数据仓库投入运行,为上层的决策提供数据,即将开发好的数据仓库的各个组件的运行系统组装起来,从数据源将数据加载到数据仓库中,然后在其上开发数据仓库应用。
一、数据仓库的运行监视
数据仓库,尤其是大型的数据仓库,是一个庞大复杂的系统。数据仓库管理员(DWA)在管理过程中经常会感到很困惑,很难跟踪到整个系统的各个方面。DWA急需一个稳定可靠的跟踪系统,使其能够很方便地跟踪、监控整个数据仓库系统的运行情况。同时,系统应该结合电子邮件和网站,使之成为一个集成的环境。DWA应该关心数据仓库系统各方面的特性,这通常可以通过观察它的ETL过程来确定。下面是一些DWA可能关心的跟踪节点,由于实际情况的差异,这些节点可以根据实际情况进行增删。
(一)日志文件
ETL和其他一些应用程序是数据仓库的基础,通常它们被用来组织成批作业,在夜间相对空闻时运行。ETL日志文件反映了程序的运行状况,判别程序是否出错可以通过特别的字符串来进行,或者可以通过查找某些关键字/词来发现。例如,根据经验,SAS ETL程序中有两类错误被认为是严重的错误,必须加以重视,它们是“…Because of errors”和“…was stopped”。因此可以通过读取和分析日志文件发现其中的问题。
(二)ETL数据
买际上从ETL日志文件中还可以得到ETL抽取源数据的一些指标,如响应时间和数据量。DWA可以通过跟踪下载字节数和抽取速度来了解ETL的性版并以此作为作业编排和数据仓库扩充的依据。
(三)应用服务器监视
在数据仓库中会用到一些应用服务器,如SAS/Share服务器、SAS/Internet服务器等,它们在系统启动时就自动启动了,但有时它们也会由于某些原因而停止运行。在Unix系统中,通过检查系统的进程,可以判别这些应用服务器的活动状况。同时,如果需要,这些应用服务器的日志文件也可以用做进一步的分析。
(四)硬盘空间
DWA需要清楚地知道磁盘空间的使用情况,包括磁盘空间的空余和数据增长情况。例如,在Unix系统中,“df-k”命令可以列出所有文件系统当前的使用情况。通过定期记录这些数据,DWA就可以分析出磁盘的使用情况,尤其是数据的增长情况。
(五)其他
还有其他许多方面是DWA所关心的,如派系统(即操作型系统)的状态、用户访问和权限跟踪等。对待殊的系统,就必须考虑这些特别的跟踪点。
跟踪系统实际上是数据仓库系统的一个重要组成部分,是数据仓库管理员和系统维护人员进行系统跟踪与维护的有力手段之一。另外,可以利用跟踪的结果作为数据仓库性能优化和调整的依据。
数据仓库的性能优化有两个方面的内容:一方面是数据仓库数据处理程序的优化;另一方面是应用程序的性能优化。
二、数据处理程序调度优化
数据仓库系统中的数据处理程序很多,包括数据管理程序(如数据抽取程序、更新程序、归档程序)、数据集市以及数据立方生成程序、报表生成程序等。这些程序的执行一般是在夜间以批处理的方式进行的,但是对于大型企业级数据仓库来说,数据处理程序非常多。如果不能在指定的时间段完成,就会影响前端分析的及时性。另外,基于数据仓库的应用在不断地增加。因而,需要合理地调度数据仓库中任务的执行,提高系统的数据处理能力。
数据仓库系统巾的任务之间具有复杂的先后关系,构成了一张任务工作流图,只靠数据仓库管理员的手工调度是不行的。因此,需要使用工作流技术管理和调度数据仓库中的任务。一般情况下,数据仓库服务器大都采用服务器、小型机或并行机,有多个CPU。因此,可以使用多线程改多进程技术,使得任务在多个CPU上并行执行。这样,需要任务调度程序按照任务间的关系,合理地分派任务在不同的CPU上运行。
三、前端应用性能优化
提高数据仓库系统前端应用性能的方法有多种,如归档休眠数据、去规范化设计、预计算、列复制、预连接、建立索引等方法。
(一)归档休眠数据
所谓休眠数据是指长时间不用的数据。这种数据的粒度不同,可能是某个数据集很长时间末被使用,或者数据集中的某些属性一直未被使用,或者数据集中的某些元组或值一直未被使用。大量的数据是最主要的性能障碍。数据仓库管理员用来提高数据仓库性能的最好的方法就是归档那些不用于此数据仓库的数据。归档分为近线归档和离线归档。休眠数据有三种类型:关系表级休眠、属性级休眠和值级休眠。
关系表级休眠是指某个数据表和数据集长时间未被使用。这种情况在数据仓库中是常见的。例如,开始时设计了一些基于数据仓库的应用,产生了一些汇总数据表(集),而后因为业务的原因,不再需要该应用,从而进行了重新的开发,但是原来的数据表却没有清理。
属性级休眠是指数据表(集)中的某些属性一直未被使用。这种情况对于分析应用来说是很普遍的。用户对数据之间的关系还不清楚,因此希望将所有的属性都加入导出数据集中,可是在分析数据时却只用其中的少数几个,而开始设想的分析却一直没有进行,一些属性列就长期地处于休眠状态。因此,建议在设计数据集市或主体数据荣时只选择目前需要的局性列,而在需要时,再增加其他列。
值级休眠是指数据表中的某些元组长时间没有被存取。如计划数据表中存储5年的数据,可是实际分析中一般只用到近半年的数据。这样,一大批数据就处于休眠状态。
对于休眠数据的处理可以将它们转储到近线存储器上,在需要的时候可以从其中读出。归档休眠数据的关键问题是如何监视数据的使用以及确定哪些数据处于休眠。可以通过使用活动监视器来监视数据的使用情况,有两种基本类型的活动监视器:SQL插入式监视器和非SQL插入式监视器。SQL插入式监视器是一种用来截取SQL查询并可能重新表示这个查询的监视器。非SQL插入式监视器则不能改变SQL查询。
(二)去规范化设计
从性能的观点,去规范化具有两个主要的优势:首先,大型的、长时间运行的表格扫描或复杂的连接操作可以被简单地查找预先计算的结果所取代,由于预先计算结果与原始数据相比,在处理时间上相差几个数量级,所以它能够提高多个数量级的查询响应时间;其次,作为第一个优势的推论,去规范化可以大量减少系统为获得某个特定查询结果而需要处理的工作量,使系统资源的使用更加有效。下面讨沦两种主要的去规范化方法:预聚合计算和实例化视图。
1.预聚合计算
数据仓库中的数据可以采用滚动的方法将细节数据进行聚合运算。例如,当数据被输入到数据仓库中时,以每小时为基础存储数据,在这一天结束时,以每天为基础存储每小时的数据。在一周结束时,以每周为基础存储每天的数据。以此类推,同时将细节数据归档。通过这种方式来组织数据,数据仓库设计者将极大地减少存储数据所而要的空间井潜在地提高性能。当然.设计员也会丧失查看已过时的详细数据的权利,越早获取的数据,保留的详情就越少。但是,许多类型的数据可接受这种处理,例如销售、产品和市场数据。另外,如果既想保留细节数据,又想进行汇总分析,如在OLAP分析应用中,对于一些汇总的结果可以预先计算出来,在查询分析时,查询处理器通过查询重写技术使用预算的汇总结果给出回答。这样可以大大提高查询分析效率。
2.实例化视图
数据仓库中的数据集实际是一些数据源的视图,有的是OLTP数据源的视图,有的是数据仓库中数据集的视图。每个视图一般是建立在多个数据集之上的,因此就涉及许多连接操作,而连接操作在数据库查询中是最费时的操作之一,尤其是在数据仓库中每个数据集的元组数又很大。因此,节省机器资源提高分析效率的只有效的技巧之一是将这些视图的连接操作预先实现,并将连接结果存储为一个实际数据集,形成实例化视图。之后,无论何时用户想执行一个通常需要连接这两个表格的查询,都可以直接查询预连接的、去规范化的表格来代替连接两个表格。视图实例化技术也带来了额外的开销,如存储空间开销、查询重写开销和视图维护开销等。因此,需要在效率和上述开销之间进行权衡。建立索引是提高查询效率最常用的技术。
(三)建立索引
索引技术不同于扫描整个关系表来查找某行中的某列能够满足“Where”于句的判定,而是创建一个有关此列的单独索引结构。这个索引结构包含所有实际离散列值的一个分类表,表里的每个值与一个指针列表相关联,这些指针指向包含此值的原始表格中的行。实际上,建立索引可以很好地改善数据仓库的性能。
为允许数据库引擎快速地找到分类索引表中的任意一个元素,可使用一个B树表示法来内部存储这种索引,为B树索引。但是使用索引需要增加磁盘存储量,增加了维护索引的开销,甚至能够降低某些查询的性能,B树的代价相对较大。在数据仓库环境下,位图索引对低离散值的索引有较大的优势,可以较好地满足OLAP查询的需求,也可以使用其他的索引技术。
参考文献: