平均互信息量的案例式教学方法探析

前言：本站为你精心整理了平均互信息量的案例式教学方法探析范文，希望能为你的创作提供参考价值，我们的客服老师可以帮助你提供个性化的参考范文，欢迎咨询。

摘要:平均互信息量的概念在香农信息论中的占据极为重要的位置。在本科生“信息论基础”课程中虽然给出了不同形式的定义以及数学推导，但由于概念较为抽象，大部分学生对于该部分教学内容的兴趣和实际掌握效果都有待提高。以新冠肺炎核酸检测为背景，探寻“万里挑一”核酸检测案例的优化策略，引导学生利用平均互信息量的概念和性质主动思考，将课堂知识与生活实践相结合，让学生在理解平均互信息量的物理概念的同时，体会信息论的理论指导意义，并巧妙融入理论如何指导实践、中国疫情防控举世瞩目成就等思政元素。

关键词:平均互信息量;信息论;核酸检测;课程思政

“信息论基础”是一门以概率论、随机过程、数理统计和线性代数等学科为基础，研究信息在系统中的存储、传输、处理和控制的综合课程，是通信工程、电子信息工程、信息对抗等专业培养方案中的主干课程［1］。由于该课程中的概念高度抽象，理论性强且有大量的数学分析过程，学生理解起来并不容易［2］。对于“平均互信息量”这种较为抽象但极为重要的概念来说，如果仅靠传统的灌输式教学方法，学生接受难度较大，且兴趣度不高，学生很难理解其中蕴含的理论指导意义。同时鉴于传统课程教学中较少将信息论中的概念直接联系实际，学生容易产生信息论无用的错觉［3］。传统的教学方法主要可以分为两类，一类是教师灌输式，一类则是学生自主学习讲解式［4］。第一类方法目前仍是主流，这种方法教学效率较高，但是学生的独立思考问题的能力不能得到锻炼，偏离了教育的初心;第二类方法可以极大地调动学生积极性，培养学生主动思考能力，但需占用学生大量的课余时间，并且不能帮助学生认识重点、分清主次。近年来，多名教师在教学方式上进行改革探索［5－6］，取得了一定的成效。案例式教学方法最早起源于哈佛的情景案例教学课，目前已发展成为经济学及管理学类学科的重要教学形式［7］。信息论是一门与通信系统理论有着密切关系的学科［8］，逻辑推理过程较多，相对比较枯燥，在教学过程中适当引入案例式教学，不仅可以丰富课堂内容，也可以激发学生的热情，让学生更多地参与到课堂中，促进师生之间的互动交流。教学工作应具体情况具体分析，对于不同特点的学科应该采取不同的教学方法。对于信息论这种专业体系中的主干基础课程，贸然采用自主学习的方法，可能适得其反。为此，结合数十年的教学经验，尝试在平均互信息量中引入案例式教学，即在第一类教学方法中进行改进，通过案例引入，将学生带到特定场景中，在解决问题的过程中学习知识，提高学生的参与度和兴趣，培养学生独立思考的能力。通过带着问题深入剖析现象背后的理论依据，在回答问题的过程中掌握平均互信息的概念，理解利用理论工具指导编码实践的原理，让学生体会信息论基础课程的现实意义———不仅仅是知道怎么做，更懂得为什么这么做。以新冠肺炎核酸检测为背景，提出探寻“万里挑一”核酸检测案例的优化策略问题，引导学生利用信息论基础的相关知识自行思考解答;在解决这个问题的过程中逐步阐述平均互信息量的概念、性质及物理意义，然后类比此案列区分平均互信息量和信息熵这两个容易混淆的基本概念;最后利用平均互信息的概念量推导出最少检测次数。既让学生深刻理解概率信息的本质，又能让学生体会到信息论的实用价值。此外在教学过程中适当嵌入思政要素，在信息论基础专业课程中潜移默化地影响和教育学生。

1案例教学设计

1．1案例引入

围绕“核酸检测”这一时事热点话题，提出探寻“万里挑一”核酸检测案例的优化策略问题。在带领学生解决问题的同时，向学生阐述什么是“平均互信息量”“平均互信息量”与“信息熵的区别”以及如何利用“平均互信息量”解决实际问题。

1．2重难点分析

1)重点内容(1)平均互信息量物理含义:平均互信息量含有多种物理含义，首先从直接的定义可以看出消除的不确定性;再根据先验信息熵和条件熵的数学计算式可以得到等效定义，可以看出平均互信息量表征了输入与输出的关联性的统计度量。(2)平均互信息量基本性质:非负性，两个离散事件的互信息量可正可负，但两个集合的平均互信息量为非负，需要注意统计平均带来的差异，而且平均互信息量等于零时正好对应两个集合互相独立，表明平均互信息量是相关性的一种度量;互易性，平均互信息量的计算公式中可交换输入输出集合的位置，反映了平均互信息量反映的是系统获取信息的能力，从发送端和接收端不同的角度来看，可以获得相同的信息感知能力;极值性，根据不等式的性质和平均互信息量的计算公式，可推导平均互信息量的两个上限，输入端的信息熵以及输出端的信息熵，进一步表明平均互信息量只是消除的那部分不确定性，不会比先验的不确定性大。当然平均互信息量还有更加复杂的性质，如上凸和下凸特性，将在离散信道部分进一步详细阐述。2)难点内容平均互信息量与信息熵的区别是本部分教学的难点内容。平均自信息量，即信息熵，是表征随机事件的不确定程度的定量描述，但实际上往往无法准确获取全部的信息熵，如同无可能准确知道一个封闭系统中可能的热力学状态数目以及热熵，而只能通过温度的变化来衡量系统能量的变化。这些相对变化往往更是人们感兴趣的那部分信息，对应信息熵就是消除掉的部分先验的不确定性，即平均互信息量。因此平均互信息量只是先验信息熵的一部分，而且是通过某些系统观测获得的那一部分“信息”。这两个概念是信息论基础中极为重要的概念，但对于初学者来说非常容易混淆，务必从物理含义上加以区分。可以说“信息熵”是最基本的“信息”，“平均互信息量”是最重要的“信息”，通常前者难以准确或者全部“发掘”，只要在极特殊的情况下才能被揭露无疑，此时“平均互信息量”就等同于“信息熵”。关于该难点的讲授，需要采用具体化的实例来引导学生主动区分二者的区分，明白内在联系，为此课程从学生熟悉的“核酸检测”来理解这些抽象的概念。

2关键教学环节设计

2．1核酸检测案例引入

首先提出“万里挑一”问题:假定某1万人居住的社区中有1名无症状感染者，需要做全员核酸检查。数学上不难发现，总共的状态数定义为X，有10000中可能;假设全员核酸检测的结果为Y。则这1万人整体不确定性为H(X)=log10000bit，全员检测后剩余不确定性为H(X|Y)=0，检测后消除不确定性为H(X)－H(X|Y)=log10000bit。此时最多要测10000次才可以确定谁是感染者，这显然是不能接受的。那么是否有更高效的检测方式呢?要找出患者最少需要测几次呢?要解决这个问题，需要了解平均互信息量。

2．2平均互信息量定义

联合离散级XY上，X与Y的平均互信息量可定义如下:I(X;Y)=H(X)－H(X|Y)(1)根据定义式可推导出其计算式:(2)其物理意义为:在联合离散集XY上，由Y的全部事件提供的关于集X的平均互信息等于X的信息熵与Y已知条件下X的条件熵的差值。

2．3平均互信息量性质

平均互信息量有3个基本性质:1)非负性由平均互信息的定义式可推得(3)当且仅当X与Y独立时，等号成立，因此平均互信息量非负得证。具体到核酸检测的问题上，如果检测报告是血型信息，那么平均互信息量就是零，对诊断患者毫无用处。2)互易性由定义式显而易见，互换XY位置定义不变，因此满足互易性。互易性的物理意义是输出Y反应出的X的信息，与输入X反应的输出Y的信息相当，即从信息的角度来讲输入与输出可逆。3)极值性(4)当且仅当p(xi|yi)时等号成立，所以平均互信息量不大于原集合的信息熵。对应的物理意义为消除的不确定性不可能超过先验的不确定性，最多获取全部的不确定性，换句话说，XY的互信息量I(X;Y)一定不超过X的熵(自信息量)H(X)，此时的系统是最优的系统，通过Y能够准确获取X的全部信息。在此基础上可以获得各种熵以及平均互信息关系的维拉图，如图1所示。该图可直观反映各物理量之间的等式和不等数量关系，以及各种熵的非负性。图1各种熵之间的关系到此可以明晰信息熵和平均互信息量的区别，即信息熵是待测样本本身所包含的“全部信息”，而平均互信息量是通过某种方式所测量到的该样本的“部分信息”。

2．4探寻“万里挑一”核酸检测案例的优化策略

为了加强学生利用平均互信息量概念和性质进行理论计算和实际应用，再次结合核酸检测的问题，详细讲解例题:在已知待测样本的状态数为N(N=10000)后，若想要测量次数最少，则需要每次测量所提供的平均互信息量I(X;Y)最大。1)单检方式对于单检方式，显然最多需要N次检测。检测前的不确定性为H(X)=logN≈13．2877bit，定义检测的结果为Y1，则(5)H(X|Y1=1)=0，H(X|Y1=0)=N－1Nlog(N－1)，则条件熵为可得单次检测的平均互信息量为(7)2)混检方式如果采用5合1混检方式［9］，易知最多需要5+N/5次检测，定义单次5合一混检的结果为(8)同理可得单次混检的平均混检的平均互信息量为可见通过混检方式大大增加了单次检测的平均互信息量，因此能显著减少检测次数。图2展示了几种不同的混检策略的效果。3)最优检测策略那么什么才是最优的检测策略呢?显然不是混检次数越大，单次检测的信息量越大，因为对于极端情况全部混在一起检测，是没有意义的。那么如何才能使单次检测消除的不确定性最大?换个角度分析，单次实验的结果的最大平均互信息量为I(X;YM)=log2=1bit(9)M代表M合一检测。又已知检测前样本的不确定性为H(X)=logN≈13．2877bit。那么理论上，当N=10000时最少检测数为logNlog2≈14次。即理论上最少的测试次数为14次，任何想低于这个检测次数的努力都是徒劳的。

2．5课程思政的设计

1)信息理论与生活实践该案例教学中，一开始就将同学们多次接触的核酸检测事件联系起来，通过分析平均每一次检测所获得的信息量，这正是平均互信息量，也就是信息的本质。特别是随着混检人数的增加，在理论极限条件下，核酸检测总次数可减少至惊人的14次!可见利用平均互信息量的概念和性质，可以找到理论上的不可能超越的极限值。通过核酸检测策略这个实例可以看出，平均互信息量的概念可以为实际问题提供理论极限，对实践有非常重要的指导意义，进而引起学生对信息论强烈的学习兴趣。2)实际案例中的中国成就虽然核酸检测优化检测策略中给出了理论极限，但其本身没有给出具体的检测方法，但指明了方向，具体的实现需要同学们自己思考。特别是在实施过程中要考虑效率、精度等影响，中国政府在疫情防控过程中制定了一系列的中国标准，如2020年7月21日，国务院印发了《新冠病毒核酸筛查稀释混样检测技术指引》;2020年8月17日，国务院制定了《新冠病毒核酸10合1混采检测技术规范》;2020年8月27日，国务院印发进一步推进新冠病毒核酸检测能力建设工作方案的通知。我们更是取得举止瞩目的耀眼战绩，如2020年5月14日武汉会战，10天排查1000万人;2020年6月11日北京疫情，23天排查1100万人;2020年10月11日青岛5天排查1100万人。这些数据的背后必然会让每个学生感动和感恩，从而更加自信地学习和生活。

3结语

通过上述案例教学来讲授平均互信息量的概念和性质，可以实现以下效果:(1)从核酸检测案例的优化策略问题引入，让学生带着问题从信息论的角度寻求答案和背后的理论依据。在求解问题的过程中明确平均互信息量的定义和物理意义，在此基础上带领学生推导平均互信息量的三条基本性质，完成基本课堂知识的传授。(2)通过“万里挑一”核酸检测问题的实例，以实际问题帮助学生区分信息熵(平均自信息量)和平均互信息量这两个极易混淆的物理量之间的区别，并通过利用课堂所学知识寻求问题的最优解，将抽象的方法应用到工程实践，加强学生对概率信息这一高度抽象概念的理解。(3)在教学方法方面，从熟悉的事件出发，带着问题学习新内容，特别是引导学生对概率信息的本质进行深层次的思考，强调“信息论”是来源于工程实践，更是指导工程实践的重要理论。

作者:孙兵 李建楠 李景文 陈杰 单位:北京航空航天大学 电子信息工程学院