计算机视频处理技术

前言：想要写出一篇令人眼前一亮的文章吗？我们特意为您整理了5篇计算机视频处理技术范文，相信会为您的写作带来帮助，发现更多的写作思路和灵感。

计算机视频处理技术范文第1篇

关键词：视频编辑；计算机；输入输出；网络传播

作者简介：冯奇（1980-），男，汉族，湖北潜江人，江汉艺术职业学院计算机教师，讲师，公共计算机，多媒体技术。

视频编辑计算机处理技术是一种基于网络计算机发展背景下，针对海量的素材信息进行视频精细化处理的一种新型编辑方法。它与传统的视频后期处理技术有很大的区别。在利用计算机网络硬件的配置特点对视频材料进行播放控制、画质调节、视频转码编辑的使用过程中，计算机输送交换信息处理和视频制作信息处理是非常重要的两种处理方式。

1利用计算机技术开展视频编辑概述

视频编辑计算机处理技术依据计算机After-Effect软件处理系统的便捷性，对原始的数据信息进行快速处理。相对于传统的线性编辑方式来说，计算机视频制作过程中的编辑处理技术，实现视频软件编辑的系统性操作，可以轻松对视频材料进行放前“插入”和放后“渲染”的相关操作。视频编辑领域中计算机技术的运用，影视后期工作人员需要根据数字非线性编辑概论出发，通过优化影视编辑常用制作流程的方法，提高视频编辑的效率。在视频编辑的过程中，技术人员应该根据镜头组接的剪接点，使用Premiere(edius)计算机软件，对镜头组接位置中的分镜头的人物运动动作进行位置匹配。在匹配的过程中，技术人员需要考虑到运动物体的图像组接方式，按照画面风格统一处理的方式，防止在视频处理的过程中出现色彩搭配不协调的现象。

2开展视频编辑领域计算机技术运用的方法

在计算机技术视频材料编辑的制作过程中，使用视频编辑系统进行素材制作，应该对集录像机的硬盘储存区进行安全优化，首先要严格按照计算机软件系统的相关原则，将视频编辑的抽象概念形象化，从而加强视频处理技术中的多层网络结构，有效地隔离各种现象故障，简化特效部分的运行细节，切实提高视频链接线路的使用效率和非线性编辑的介入水平。对于调音台的编辑活动，工作人员应该按照多轨信息处理的方式，对音频材料进行精度编辑，实现多种强度的视频音频文件的转场，体现出较为优异的特效效果。在编辑技术拓展应用的过程中，使用一些内置的滤镜制作符合视频表达需要的特效。使用光效制作的方法引入OPTICAL，从而显著提高视频的视觉效果。例如，技术人员可以使用FLARES视频编辑手段，合成特定的效果延误，使用AECS6处理合成爆炸实例，最后完成视频编辑活动中的汽车爆炸效果制作。在视频编辑领域中，技术人员进场使用基础离子创作技法，对素材的输入、编辑、输出进行针对性处理。

2.2视频编码系统及其关键技术

在切换台方面，应该按照关键帧动画编辑操作过程中的先后顺序进行，避免采用传统视频编辑技术中的层单一处理的视频编辑方式，防止数据的大范围丢失，而是使用四点追踪的方式，实现视频处理的跟踪与稳定。通过利用中断向量表技术建立数据交换通道，将视频信息进行复核操作，兼容YUV分量和S-VHS数字输入模式，便于网络课程视频制作师快速编辑各种格式的视频材料。在三维合成阶段，技术人员可以采用光绘摄影的视频后期处理方法，对视频材料进行追踪编辑。在图层基本操作的过程中，技术人员需要把握好视频合成窗口与时间窗口之间的关系，从“层”的基本关系出发，可将相邻的两个介入素材进行堆砌，同时将终端的层的混合模式整体地介入到联网视频素材中。在系统参数区中，使用专门的视音频处理芯片和附加电路板可以为整个计算机内部视频材料提供运行支持，提高硬盘运行速度，实现文件控制块的视频完整和导入方便，从而保证文件妥善分区和高效储存。

2.3计算机技术在视频处理中的作用

我们知道，视频材料编辑活动中，字母栏的编辑设置也是重要的一环，使用矢量绘图及输出可以完成“嵌入式”视频字幕的处理。在视频特效后期渲染工作完成之后，技术人员需要采用计算机激光扫描的方法，对视频材料进行套底剪辑。对于视频材料的数字配光处理，视频处理人员可以采用胶片记录仪或者是数字拷贝的方法，实现如何体现视频画面中心的感染力，是视频编辑领域的重要工作。由于计算机网络课程接入层中涉及到许多的硬件设备，硬件条件的稳定可靠决定了计算机网络课程视频处理能力的高低。为了保证视频软件编辑处理技术更加具有真实性，必须要求网络视频制作人员运用抽象思考的方式，对视频素材进行艺术化的思考和形式上的创新。在进行视频编辑的过程中，力争把一段作品的画面感、清晰度和饱和度做到最佳水平，使得计算机编辑制作中的视频素材“活”起来。从而实现了计算机视频渲染和储存环境的稳定。

3结束语

如果实现视频软件编辑的通畅，可以对视频素材进行压缩方面和解压缩技术方面的深入优化，在广度上实现计算机分配视频制作设施和“输入”、“输出”系统的长期稳定，必须要使用精简化的系统设定，通过实地分析视频软件组织运行的负载强度，从而适度实现视频编辑系统中相应冗余部件的优化与技术革新。

参考文献

[1]刘素玉.浅谈非线性编辑系统的功能及在节目制作中的技巧[J].电视技术,2001,1(3):63,65.DOI:10.3969.

[2]崔冬明.基于内容的视频检索系统研究及其在电视台中的应用[D].扬州：扬州大学,2009.DOI:10.7666.

[3]曹胜武,傅震,鲁艾林等.数字视频采集技术在显微神经外科手术中的应用[J].江苏大学学报(医学版),2011,16(2):162-163.DOI:10.3969.

[4]刘振生.谈非线性编辑系统在教育技术领域应用的优越性[J].中国科技信息,2014,(22):21.DOI:10.3969.

计算机视频处理技术范文第2篇

关键词：多媒体课件；非线性编辑；视频

中图分类号：TP37文献标识码：A 文章编号：1009-3044(2007)03-10834-01

1 引言

近年来，随着计算机技术的飞速发展，多媒体技术呈现出崭新的面貌。非线性编辑技术作为计算机技术和视频技术发展的结晶，它日渐成为多媒体课件的一个重要工具。生动直观的视频影像容易给人留下深刻的印象。多媒体课件中恰当选用视频素材，能使课件更具有真实感和感染力，有利于激发学生的学习兴趣，调动学习积极性。本文就非线性编辑技术的特点与构成、视频采集与压缩、非线性视频编辑等方面对多媒体课件中的视频处理进行阐述。

2 多媒体课件的特点

多媒体课件是由计算机对视频、音频、图像、动画、文字等进行处理，使之有机结合在一起成为应用于教学的信息载体。视频作为多媒体家族中的成员之一，在多媒体课件中占有非常重要的地位。因为它本身就可以由文本、图形图像、声音、动画中的一种或多种组合而成。利用其声音与画面同步、表现力强的特点，能大大提高教学的直观性和形象性。多媒体课件中的数字视频处理包括视频捕获、视频编辑、视频压缩/解压缩等环节。

非线性编辑是数字视频技术与多媒体计算机技术相结合的产物。所谓非线性，实际上指工作流程不是在时间轴线上，而是任意的，分割的，其工作素材是可以前后随意调动的，经各种处理后，重新编排的技术。非线性编辑则是指电视节目后期制作系统，它主要是通过数字压缩技术将视频、音频素材数字化，存储在计算机硬盘中，然后利用视频编辑软件对数字化素材进行多种处理。

非线性编辑方式的主要优点是：（1）编辑时，搜寻素材的时间大大减少。（2）它能集编辑、特技、字幕、背景、配音和网上传输于一体。（3）便于影片整体结构的把握。（4）运行费用低。非线性编辑为多媒体视频制作提供了便利的条件，极大地提高了编辑效率。

非线性编辑系统是由计算机、视频处理卡、大容量高速度素材硬盘及视、音频软件组成，其中采集卡是非线性编辑系统中的关键，计算机主要用于对软件的运行，特技生成、人机界面的管理等工作。硬盘主要用于存放数字化素材，采集卡是通过一定的压缩方法，将输入的模拟信号转换成数字信号，或是将数字信号转换成模拟信号，最后将视频信号输出的。

4 非线性编辑技术在多媒体课件中的应用

4.1 素材的采集与压缩

视频素材输入到计算机中常用的采集类型有帧采集卡、动态图像连续采集卡、电视节目接受卡，一般是把输入的模拟信号解码成RGB或TUV，再经过A/D转换，将模拟信号转换成数字信号存储在磁盘中，并以一定的文件格式存储。视频素材的采集对制作多媒体课件来说是一个关键性的技术，采集素材时，图像清晰度如何，色调是否失真都直接影响课件的教学质量，因此，在制作多媒体课件时，一定要重视视频素材的采集。课件质量取决于视频源的质量，所以应尽可能的使用高质量的视频源，一般高质量的视频格式为D2、D3格式，如果视频捕获卡支持复合信号和S－Video信号或IEEE－1394接口，应尽可能使用有高质量的S－Video信号或IEEE－1394接口。又由于视频文件所占空间较大，所以在采集素材时要看图像尺寸、帧率、压缩方式和采集时间的长短，要根据在课件中的实际情况进行采集，以免浪费空间。

在多媒体课件制作中，数字视频文件很大，而存储媒介的容量有限，因而必须对数字视频文件进行压缩。在视频信号数字化过程中需要解决的一个问题是存储容量。由于未经压缩的视频信号占用的存储空间非常大，所以视频压缩是关键的一个环节。通过压缩减少图像所要求的数据量，节省存储空间，提高存取速度。视频压缩技术除了利用空间冗余、频谱冗余和心理视觉冗余对视频图像进行帧内压缩外，还利用相邻图像帧之间的相似性而产生的时间冗余对视频图像进行帧间压缩，进一步提高压缩效率。

由于压缩方式的不同，数字视频的格式主要有以下几种：

AVI：Audio/Video Interleave（音频/视频隔行扫描）的缩写。AVI是Windows下的指定视频文件格式，也是PC系统中使用最广泛的视频文件格式。几乎所有的视频编辑软件都可以直接操作非压缩的AVI文件。

MPGE：Moving Pictures Experts Group（运动画面专家小组）的缩写。MPGE是一种运动画面及声音的压缩标准，这种压缩方法是将视频信号分段取样，然后对相邻各帧未变化的画面忽略不计，仅仅记录变化了的内容，因此压缩比很大。

QuickTime：由Apple电脑公司开发，它已渐渐变成Mac电脑和PC电脑上通用的标准视频技术。QuickTime回放的文件都由.mov的后缀表示。它与AVI大体上属于同一级别，在网络应用方面也较常见。

Real：由Real Network公司开创，采用流式技术，可以将声音视频重新编码，源源不断在网络上进行传输，减少了等待时间，不必等所有数据传送到本地才开始播放，因此很适合网络的。

数字视频的格式众多，在多媒体课件中以AVI和MPEG格式的视频文件应用最为广泛。

(1)素材编辑素材编辑就是设置素材的入点与出点，以选择最合适的部分，然后按时间顺序组接不同素材的过程。

(2)特技处理对于视频素材，特技处理包括转场、特效、合成叠加。对于音频素材，特技处理包括转场、特效。非线性编辑软件功能的强弱，往往也是体现在这方面。

(3)字幕制作字幕是课件中非常重要的部分，包括文字和图形两个方面。

(4)视频的组接非线性编辑系统中各段素材的相互位置可以随意调整。编辑过程中，可以在任何时候删除节目中的一个或多个镜头，或向节目中的任一位置插入一段素材，也可以实现磁带编辑中常用的插入和组合编辑。视频编辑的基本要求是素材与素材之间的接点要连接的准确、平稳、自然。

大多数基于PC的非线性编辑系统能直接从CD唱盘、MIDI文件中录制波形声音文件，波形声音文件可以非常直接地在屏幕上显示音量的变化，使用编辑软件进行多轨声音的合成时，一般也不受总的音轨数量的限制。

(6)输出与生成节目编辑完成以后，就可以生成多媒体课件所需要的视频文件。

非线性编辑软件有很多，如Video wave、Premiere、Media Studio，国内现在最流行的是Premiere非线性编辑软件，通过对录像、声音、动画、照片、图画、文本等素材的采集能制作出完美炫目的视频作品。Premiere有丰富的剪辑剪裁、特级应用、场景切换、字幕叠加、配音配乐等功能，能满足多媒体课件制作的编辑需求。经过Premiere处理后的视频课件具有较好的视觉效果。Premiere支持全系列的Windows产品，而且是无缝集成。它对内存的要求较高，装有Premeire6.5的机器要求的最低内存为128MB。Premiere支持最新的IEEE－1394接口，也支持外挂插件和滤镜。

Premiere 6.5提供了强大的DV（Digital Video）设备支持功能，而且无论是PC还是MAC，用户都可以使用。用户可以在Premiere 6.5中进行自定义，从而使用特殊的DV设备和格式。无论是家用设备还是专业设备，只要计算机上具有IEEE1394端口,将DV设备同IEEE1394端口相连，用户就可以捕捉和编辑视频片断了。同时，Premiere支持各种非标准像素比率，对数字视频的制作提供了极大的方便。利用Premiere，用户可以轻易地捕捉数码视频，使用多种多样的工具制作视频作品，然后输出成为最先进的Web流视频格式或任何其他媒体格式。Premiere 6.5还实现了包括与Photoshop、After Effects、Go Live、Live Motion 等Adobe产品家族知名应用软件的无缝集成。

6 结束语

课件设计时的注意事项：在设计过程中，首先要设计好脚本。在设计脚本时中要考虑到用户界面、教学内容及视音频画面的配合问题，尽量开发具有交互式性能好、可操作性强、界面较为活泼的多媒体教学软件。其次要认真制作课件中的视频或动画部分。如果是教学用，则可以把视频或动画的尺寸制作的大一些、画面质量更好一些；如果是网上远程教学用，则把视频或动画的尺寸制作的小一些，因为网上传输的速度要慢一些。在多媒体课件中视频或动画的使用是十分重要的，不管是在界面中，还是在课程内容中，制作必要的视频或动画，对提高教学软件的质量是十分有用的。要提高视频的图像质量，应选择高质量的视频源及适当的硬件设备。为采集到良好的视频图像可适当降低捕获帧数并选择合适的视频压缩方式以节省存储空间。

在多媒体课件制作中，数字视频处理是一项重要技术。视频的制作效果在很大程度上反映了多媒体课件的水平。随着数字视频处理技术的发展，新的硬件设备及采集压缩软件的推出，数字视频编辑将会给多媒体课件带来新的生机和活力，创造出更加生动活泼的教学环境。

非线性编辑技术将在课堂教学、自学教育、网上远程教育等技术领域中的应用将会更为广泛。这对传统的教学方法、教学手段，乃至教育思想的改革将起促进作用。

参考文献：

[1]宁振华 展非非.Premiere 6.5标准教程[M].中国宇航出版社.

[2]黄匡宇.电视节目编辑技巧[M].中国广播电视出版社.

[3]李运林.电视教材编导与制作[M].高等教育出版社.

[4]尹俊华,庄榕霞,戴正南.教育技术学导论[M].高等教育出版社.

[5]易康,范宇,李光明.多媒体课件设计与制作[M].冶金工业出版社.

计算机视频处理技术范文第3篇

多媒体应用技术是一门计算机专业课程,开设于计算机应用、网络和电子商务专业等,时间为一学期,每周6学时,主要以学生实作为主,占总学时的2/3。

本课程是一门将文本、图形、图像、音频、视频等多种媒体信息和计算机结合在一起的应用技术课题,它要求学生具备计算机操作能力,文字、图片、声音和视频处理能力,综合能力和团队合作能力等。

二、教学中的普遍问题

1.学习目标不明确

多媒体应用技术分为理论和实践两部分教学,理论学习中,有少部分学生出现开小差、看课外书等现象;在机房的实作中,有学生玩游戏现象。这些情况说明,学生还处在不知道主动学习的阶段,不知道自己该怎样学习,学习目标很不明确。

2.基础知识不扎实,专业知识盲点多

通过与学生的交流了解到,他们对基础知识的掌握不扎实、不牢固。而在专业知识方面,只有几位学生能够回答问题,并能够自己主动思考和钻研。

3.团队协作能力差

完成本课程的最终目标需要学生分成小组,由组长带领,分工合作完成作品。在分组时,有的学生不服从安排孤立成组,以后又因分工产生争议,这些都是学生团队意识薄弱、团队协作能力差的表现。

三、产生问题的原因

1.学生自信心不足是学习目标不明确的首要原因

中职学校的学生基本都是中考失利、考不上高中的学生,自觉低人一等。带着这样的思想来到学校,他们自信心不足,不敢大胆地发表和坚持自己的意见,有些学生干脆就对学习不闻不问。

2.生活环境和学习环境一定程度上影响了学生对知识的掌握

(1)生活环境的影响。以技工77班为例,全班一共46名学生,3名来自市区,11名来自郊区,其他的来自偏远农村。其中,20名学生接触过计算机,占全班的43.5%,但也仅限于开关机等简单操作,另外26名学生入校前从未接触过计算机。

(2)学习环境的影响(如表1)。

如表1所示,学生都具备一定的计算机基础操作能力和文字处理能力,但在图片处理方面还不够专业,在音视频处理上的能力基本为零。

3.学生性格特征对团队协作能力的影响

在校学生大都为90后,他们敢于表现自己,喜欢追新求异。但又依赖性强,常以自我为中心。在与同学的互相交流中,他们只顾个人得失,不顾他人感受,在团队中不能很好地和别人合作,常引起一些不必要的矛盾。

四、解决对策

1.鼓励学生增强自信,引导学生明确学习目标

在教学过程中,教师尽可能地记下学生做得好的方面和每一次进步,及时进行表扬并提出希望。同时,通过新课前对课本目录的讲解,引导学生明确本门课的学习目标。

2.给学生补课

给学生补课巩固基础知识,加强对“周边知识”的修补。如表1所示,在学习新课之前,教师将根据需要用24个学时来给学生补习音视频处理方面的知识。

3.找共同点,激发学生的学习热情

了解学生感兴趣的话题和他们喜欢的人和物,将这些内容贯穿到教学中以激发学习兴趣。例如,在学习第十章时,通过制作拼图游戏,让学生在做游戏的同时学到图片分割、按钮交互和目标区交互等知识。

4.灌输团队合作思想,充分发挥队员作用

在团队中各成员的个性不一,队员之间往往存在一些冲突,这就要求他们要化解冲突,让1+1≥2。

五、效果分析

1.学生的自信心增强了,学习目标很明确

教师通过对学生的鼓励和引导,学生的自信心增强了,学习目标很明确。在提问过程中学生不会再出现不说话或者回答“我不会”等现象,取代的是熟练的操作或者是“我试试”等学生独立、自主的学习现象。

2.通过补课学生掌握了图文声像处理软件方面的知识

通过一个月的“补课”,学生对图文声像处理软件方面的知识得到了一些修补,基本满足了学习本课程的

需要。

3.以案例教学为主,学生学习积极性得到了提高

在授课过程中,由于以学生感兴趣的案例教学为主,所以学生的学习积极性得到了提高,全体同学基本能按时按质地完成教学任务。

4.团队协作能力增强,取得一定学习成果

计算机视频处理技术范文第4篇

论文摘 要：多媒体技术是信息技术发展的产物。它集中了已经比较成熟的图像处理、声音处理、视频处理、三维动画技术等信息处理技术，改变了传统计算机单一的字符、平面图形的人机界面。为人们提供了一个具有图像、声音、视频、动画等多种视听信息，具备良好的交互式可操作性能的信息系统。因此“多媒体信息处理”这门课程的地位得到了提高，尤其在榆林学院这样一所普通应用型高等院校中，变的更为重要，也更为迫切，因此我提出以下改革方式。本文就在学校课程改革的大环境下，对多媒体信息处理技术这门课程的教学方式进行了探索。

现代科学技术的飞速发展，使人类社会进入了信息时代。计算机技术在当今教育领域中的应用，是教育现代化的一个重要标志。多媒体技术运用多种现代化手段对信息进行加工处理，显示与重放，模拟、仿真与动画技术的应用可以使一些在普通条件下无法实现或无法观察到的过程与现象生动而形象地显示出来，可大大增强人们对抽象事物与过程的理解与感受。交互式多媒体技术将图、文、声、像融为一体，可以达到在短时间内获取大量知识信息的效果。

在教育部关于高等学校计算机基础教育三层次方案的指导下，我国高等学校的计算机基础教育事业蓬勃发展，多媒体技术与应用就是一门面向高等学校非计算机专业的学生而设置的第三层次的计算机技术基础课程。由于计算机软硬件技术的飞速发展，多媒体技术领域里也不断出现新的技术、概念，这就使得多媒体技术与应用课程的教学内客和方法都面临着新的挑战。如何在有限的课时数内高质最地完成课程的教学，为学生奠定一个扎实的多媒体技术应用和开发的基础呢？本文就该课程目前教学过程中存在的主要问题进行了探讨。

教学内容不能及时跟进技术的发展，制约着多媒体信息处理技术的发展。我校多媒体技术与应用课程主要包括多媒体应用技术领域里的基本知识和内容，从总体上叫以分为多媒体技术基本原理、多媒体硬件、多媒体软件应用设计三大方面，原理是基础，硬件和软件的应用是提高，它们是互相促进的两个方面。多媒体技术与应用课程的教学目标是培养社会需要的多媒体技术应用人才，这就要求学生除了要掌握扎实的多媒体技术基本原理以外，还要熟悉多媒体硬件和软件的灵活应用。很显然，目前的教学内容是不符合这一教学目标的。

基于以上原因，我提出了以下改革方式，首先将一学期的教学分为两大阶段，第一阶段属于初期学习阶段，对项目所涉及的多媒体技术软件行正常教学，向学生布置正常的个人作业任务，达到初步教学的目的。关键是在后期的第二阶段，通常是由教师设计一个，中型的具有相当的复杂性和难度的开发项目，它将由学生经过一定的学习积累后，发挥他们个人的特长，团队协作完成，项目要求每个学生发挥各自的精专技能并参与团队合作。也正是通过项目对每个学生这种唯一性的要求以及扬长避短发挥每个学生创造性的特点，极强地激励了每一个学生参与该项目工程的学习能动性和积极性。在多媒体技术课程中主要是围绕各个媒体对象的创建、编辑入手。每一种媒体对象都有相关的多种专业性软件可供选择，如文本对象——Office下的Word编辑软件，图像处理——Photoshop，音频处理—GoldWave，视频处理——Premiere，网页动画——Flash/Gifconstr- uctset，变形动画处理—Morpheus，多媒体合成制作——Authorware等。

在前期的教学中，教师也积极响应“抓实验促教学”，在每个独立单元中花相对较少的时间介绍与软件应用相联系的背景理论知识，主要时间让学生自己动手操作，完成一个小任务，达到会使用该软件的目的。具体操作如下：

（1）文字编辑方面：利用截图工具Hypersnap和PowerPoint制作一节课的教案。

（2）图像处理方面：让学生利用Photoshop设计一款食品的包装纸盒设计。

（3）音频处理方面：每个人完成个人自我简介的录音，后期再配以音乐背景合成。

（4）动画处理方面：将个人照片输入到电脑中，制作成人物的不同年龄段的成长过程的浏览。

（5）视频处理方面：制作一份精致的电了相册。

（6）多媒体合成：用Authorware完成拼图游戏及个人求职简介的制作。

为了全面提高多媒体技术与应用课程的教学质量、深化该课程教学手段的改革，制定出符合榆林学院实际的改革方案。我们在近几年的教学改革实践中制订了以上的改革方式。希望可以起到缓解教学与实践不符合的矛盾，提高学生的学习积极性，提高学校的教学质量的作用。

参考文献

［1］艾德才.计算机多媒体应用基础.北京：中国水利水电出版社，2001-01.

计算机视频处理技术范文第5篇

 

0 引言

 

随着大量视频探头的广泛使用，以视频内容为突破口的视频侦查逐渐成为公安机关侦破案件的重要方法。然而，传统视频侦查的成果多是在花费大量警力和时间的基础上获得的。于是，具备对海量视频有快速研判方法的智能视频侦查成了解决该问题的关键。

 

1 相关研究

 

智能视频侦查是指借助计算机视觉和视频分析的方法对视频数据进行分析，完成监控目标的定位、识别和跟踪，并判断目标对象的行为，辅助公安机关对疑难案件的侦破面对日益复杂的治安形势，智能视频侦查正逐渐成为“公安技术”学科中继刑事技术、行动技术和网侦技术之后的第四大警务技术支柱。智能视频在技术层面上都包含视频分析和视频理解这两个重要环节，其中视频分析技术主要包括背景减除检测、基于区域的跟踪以及时间差分检测等[1]。

 

由于二维视频图像丢失了现实场景的深度、方向等信息，这些方法都限制了特定的场景构成、相机配置、动作形式和视点角度等前提条件。在实际刑事案件中，这些前提条件基本上无法保证，导致大多数方法无法有效的处理目标对象被遮挡、短时间内消失，以及多个目标相互交错等复杂情形，因而这些无法直接应用于刑事案件中。

 

虽然视频分析仍是大多数研究者关注的方向，但人们已注意到视频理解才是智能视频侦查的最终目标，是智能视频侦查的核心。视频理解的关键是视频事件语义描述。视频语义内容分析是抽取用户所关心的语义内容，这会出现计算机自动理解与用户需求之间的矛盾，即语义鸿沟(the Semantic Gap)[2]。

 

传统视频处理技术中存在的这些难题根源在于，视频图像征属性和结构化信息的缺失。显然，如果能借助一些先验知识，在三维空间里对视频数据进行分析处理，这些问题就可以迎刃而解。但是依靠现有技术从视频序列中恢复目标对象的三维运动信息和三维结构是非常困难的。究其原因，主要是由于问题本身的困难性所致：包含在视频中的目标对象运动信息是不充分的，不足以用来重构三维动画，这是典型的欠约束问题。

 

针对于此，在前期工作的基础上[3～8]，本文提出了在三维时空子空间中分析处理视频数据的新思路。利用三维时空子空间蕴含的先验知识引导整个处理过程，克服了传统人体运动识别技术需要限定前提条件和行为描述困难的不足。研究的关键问题有：①在体形子空间的引导下在视频中匹配三维目标模型;②在运动子空间引导下进行视频事件跟踪;③在三维事件库中进行动作比对分类。

 

2 系统目标与框架

 

2.1 目标

 

本系统在尽量少的人工干预下，通过三维模型时空子空间的引导，探索目标体型匹配、视频事件提取以及动作比对分类技术，开拓使用三维图形学的理论和方法处理视频侦查难题的新渠道，完成智能视频侦查的快速研判，图1显示了智能视频侦查的基本工作模式。

 

2.2 框架

 

人体的运动是符合一定规律的，反向运动学IK(Inverse Kinematics)[9]是描述人体运动规律的一个比较合适的方法。传统的IK一个比较大问题是定义关节结构不是一件容易的事情，其整个过程也不直观，要花大量的时间用于参数的设置工作。针对这种情况，文献[10]提出了基于网格的反向运动学(Mesh-Based Inverse Kinematics)。与基于骨骼体系的传统IK相比，该方法依赖已有的样例网格来隐含地确定各种约束条件。本文直接使用空间序列模型库、时间序列模型库和空间关系模型库来指导人体运动跟踪，通过对仿射变换矩阵的比对来匹配特定的人体运动，图2显示了本系统的总体架构。

 

2.2.1 体形子空间中的模型匹配

 

选择模型匹配模块主要作用是，对应于复杂视频场景选择最为合适的三维人体模型来跟踪视频，以有效地解决遮挡和多目标交错等问题。研究的关键点有：①人体局部插值算法的建立;②建立从二维图像生成三维人体模型的数学模型。

 

2.2.2 运动子空间中的人体运动视频跟踪

 

本系统的一个重点就是如何在空间关系模型库的支撑下完成运动子空间中的人体运动视频跟踪。人体运动是遵循运动学规律的，采用运动子空间来描述其反向运动学信息，然后把运动子空间作为运动捕捉的约束条件，以应对复杂的视频场景。研究的关键点为：①运动子空间的约束方程的建立;②动作库模型投影与视频序列匹配的约束方程的建立;③空间关系模型库的约束方程的建立。

 

2.2.3 三维事件库中的动作比对分类

 

人体运动比对分类是本文的另一个研究重点，其功能就是输入一套人体运动数据，然后在三维事件库中进行动作比对分类，用来确定最相似的动作，以确定目标特点或分析事件性质。

 

3 关键算法

 

3.1 体形子空间中的模型匹配

 

在跟踪视频人体运动时，首先根据空间序列模型库合成与被跟踪对象体形最为接近的三维人体模型。文献[11]对人体模型进行了比较全面的研究，提出了在指定人体模型间线性插值的方法产生新的模型。本文拓展了文献[11]的算法，其基本方案为：模型Mi可以表示为标准人体模型通过仿射变换获得的结果，把仿射矩阵极分解(Polar Decomposition)，对非旋转部分可以直接采用线性插值，而对旋转部分需要先对旋转矩阵求对数，然后对矩阵对数(Matrix Logarithm)线性插值，最后通过矩阵指数(Matrix Exponential)把叠加后的值映射回原来的坐标空间。通过这种方法可以在体形子空间上构造一个函数，M是空间序列模型库中的模型集合{M1，…，Mn}，ξ是参数向量{ξ1，…，ξn}，ξi与Mi一一对应。

 

为了确定参数ξ，需要对确定的模型与视频图像进行匹配。本文使用自底向上法(bottom-up)进行匹配。匹配之前需对空间序列模型库中的模型按主要关节进行分解，采用SNAKE算法或人工分解，分解过程只需进行一次就可以反复使用。三维模型与图像的匹配问题一直是计算机视觉领域一个富有挑战性的话题，可以把此问题归结为一个高维空间中的带约束的数值优化问题。本文通过轮廓匹配(图3a)与边界匹配(图3b)来完成三维模型选择。匹配计算时，各三维模型子块只做刚体运动。

 

为了提高算法可靠性，需要在开始的多帧视频图像中进行模型匹配，为此设计了公式(1)表示的数学模型，其中有三个约束项，通过求取三个约束项线性组合的最优参数合成最匹配的三维人体数学模型。

 

其中P为投影矩阵;parti为获取人体模型第i部分的函数;T为仿射变换矩阵，不同部分的人体模型对应不同的Ti;j表示第j帧视频图像;SVideo是视频图像轮廓;E是求取三维模型透影边界的函数，Evideo是视频图像边界;V是三维人体模型顶点;C1是轮廓约束的简化表达式;C2是边界约束的简化表达式;C3保证各人体模型子块刚体运动。k1、k2和k3是权重系数，可以调整各约束条件所起的作用。求取ξ*后，就是所需要的结果。

 

3.2 运动子空间中的人体运动视频跟踪

 

对于有瑕疵的视频图像，可以先进行图像变形矫正、运动模糊去除和去雾处理。在跟踪过程中有三组约束，第一组约束就是运动子空间的约束，结合前期工作，提出如下数学模型：

 

其中ROI(k)表示第k个感兴趣区域(ROI);R为三维人体模型中ROI的数量;V与为变形前后的顶点坐标，变形后的人体模型是的函数，记为;N(i)是顶点Vi相邻顶点的集合;Gi是对应于顶点Vi的仿射变换矩阵，它的合成需要先把仿射矩阵的旋转部分从全旋转群SO(3)映射到Lie代数空间so(3)上，在so(3)上进行线性叠加，然后映射回SO(3)空间，对非旋转部分，直接进行线性叠加，最后两者相乘：

 

其中L(l1，…，lt)是运动子空间中的系数向量;Q是指仿射矩阵的旋转部分，U是指非旋转部分，Exp和Log分别是矩阵指数和对数函数。

 

第二组约束是动作库模型投影与视频序列匹配的约束。具体跟踪以跟踪片断(Tracklet) (图4a)为单位，每个Tracklet包含n帧，n的值需要在研究中确定。在进行下一步处理前，使用三维智能剪刀获得一个时空体(Space Time Volume，图4c)，三维智能剪刀是在文献[8]基础上拓展出来的。除了采用轮廓匹配和边界匹配外，还采用3D SIFT(Scale Invariant Feature Transform)特征匹配。轮廓匹配和边界匹配概念的表达式不同，即式(4)的C5和C6。3D SIFT匹配首先需要在视频图像上计算出所有3D SIFT特征，如图4b的d就是一个3D SIFT;然后要把d和三维人体模型顶点进行匹配。具体过程如下：对第j帧的d，找出离其最近的第j-1帧三维人体模型投影点u，而u是由三维顶点V投影产生，这样就把d和V关联起来。这样，对第j帧上的所有3D SIFT特征都可以找出对应的三维顶点，可以写出3D SIFT匹配的表达式C7。为保持跟踪结果的连续性，还要使用C8约束。

 

第三组约束利用多目标间的空间关系来解决相互遮挡问题。如果其中一个角色被另外一个遮挡，可以把这种多目标间的空间联系作为约束条件来辅助视频跟踪。多目标空间关系的约束可以用下式表示：

 

其中Mi是对应于顶点Vi的仿射变换矩阵。其余符号与C4类似。联立C4～ C9，可以得到公式(2)，其中k1～k6为权重系数。

 

3.3 三维事件库中的动作比对分类

 

三维事件库中的人体运动是使用标准三维人体存储的，而用于匹配的人体运动也是用标准三维人体模型表示的。经过前期探索，提出了基于三维时空子空间的人体运动比对分类方案：

 

记待检索人体运动为，其中Fj表示第j帧三维模型，共L帧，是对应各帧的时钟数据;类似的，可以用和表述三维事件库中的第i套人体运动，共p(i)帧。对于Fj，第k个顶点相对于初始位置的仿射变换矩阵记为;同样，对于，对应其第i套动作的仿射变换矩阵可以标记为的形式。

 

Fl在中匹配的数学模型为：

 

其中λ是对应于的系数;n为标准三维人体模型的顶点数;k1和k2为权重系数，用于调整子项的权重。计算出λ*后，需要找出其中的最大值：，然后设立阈值α>0，如 则表示匹配，形成匹配对。

 

4 实验结果与分析

 

本文使用Visual C++实现了系统初步框架。在体型库中，以浙江警察学院普通学生为蓝本，建立男和女两个模型，在动作库中，建立了走、跑、跳、蹲几个动作。在此基础上，针对简单背景的20段视频进行了测试，识别率为80%，在Intel i5 CPU和4G内存的普通PC机上平均耗时100秒钟。初步实验表明，本文提出系统是可行的。

 

5 结束语

 

本文是涉及图形学、视频处理技术和刑事技术的交叉性课题，不仅在学术上有诸多闪光点，而且为智能视频侦查在刑事侦查和治安管理等方面的应用打下了良好的理论基础。主要创新与特色之处有以下。

 

5.1 从方法层面看

 

通过三维时空子空间，把三维图形学的理论和方法引入到了视频处理中，为处理视频侦查难题提供了新的渠道，可以有效地克服视频数据结构性差和缺乏特征信息等弱点，促进了智能视频侦查技术的发展和完善。

 

5.2 从技术层面看

 

提出了基于体形子空间的二维监控目标与三维模型匹配的三维重建算法。在三维人体模型局部参数化以后，可以根据二维体形生成最为匹配的三维模型。

 

结合3D SIFT图像特征和三维运动子空间以及空间关系模型库中的引导信息，提出了新的运动跟踪算法，对动作进行预测，并处理遮挡问题，可以应对复杂场景的运动跟踪。