• 排行榜 -

    您的位置:首页 > ppt下载 > PPT课件 > 课件PPT > ppt数据变化

    ppt数据变化下载

    素材大小:
    857 KB
    素材授权:
    免费下载
    素材格式:
    .ppt
    素材上传:
    lipeier
    上传时间:
    2019-04-12 13:40:08
    素材编号:
    228201
    素材类别:
    课件PPT
    网友评分:

    素材预览

    ppt数据变化

    这是ppt数据变化,包括了数据处理中信息的变化,熵函数的代数性质,最大离散信源熵定理,条件熵小于无条件熵,互信息量与熵之间的关系图,连续信源最大相对熵定理等内容,欢迎点击下载。

    ppt数据变化是由红软PPT免费下载网推荐的一款课件PPT类型的PowerPoint.

    2.2.4 数据处理中信息的变化 证明: 图中:X是输入消息集合 Y是第一级处理器的输出消息集合 Z为第二级处理器的输出消息集合 假设:在Y条件下X与Z相互独立 而且 (2) 由式(*)和( * *)得: I(X;Z)+I(Y;Z/X) =I(Y;Z)+I(X;Z/Y) 所以,有 I(X;Z)=I(Y;Z)+I(X;Z/Y) -I(Y;Z/X) 2.2.5 熵函数的代数性质 非负性 H(X)=H(x1,x2,…,xn)>=0 其中:等号只?#24615;趎=1?#32972;?#31435;。 证明: (1)因为 ,且在熵函数中,对数的底总是取大于1的数,则logp(xi)〈=0, -logp(xi) >=0,(i=1,2,…,n), 所以 在熵函数中,当 n=1 时, p(x1)=1, log p(x1)=0, H(X)=H(x1)=p(x1) log p(x1)=0 证毕。 说明: (i)这就是熵函数的非负性。表明,从总体平均意义上讲,信源在发送符号以前,总是存在一定的不确定性;在发送符号后,总可以提供一定的信息量。 2.对称性 熵函数所有变元顺序可以任意互换,而熵函数的值不变。即 H(x1,x2,…,xn)= H(x2,x1,…,xn) = H(xn,x1,…,x2) = … 因为熵函数只与随机变量的总体结构有关,例如下列信源的熵都是相等的: 证明:由 根据加法?#25442;?#24459;,熵函数所有变元顺序可以任意互换,而熵函数的值不变。 说明 (1)熵函数的对称性表明,信源的信息熵只与信源的概率空间的总体结构有关,而与各概率分量和各信源符号的对应关系,乃至各信源符号本身无关. (2) 概率空间的总体结构(概率分量数n)相同的信源,不论其信源符号是否相同,也不论其概率分量与信源符号的对应关系是否一致,其信源的信息熵均相等. 分析 概率分量数都等于3,概率空间都是由1/2,1/3,1/6这三个分量构成。由于这三个信源的概率空间的总体结构相同,所以他们的信息熵相等. 即 H(1/3,1/2,1/6)=H(1/3,1/6,1/2) =H(1/2,1/3,1/6) =1.4592 比特/信源符号 3. 确定性 若信源X的概率空间中任意一概率分量等于1时,其它所有概率分量均等于零,即 则信源X的信息熵一定等于0,即 H(x) = H(0,0,…,1,…,0) = -{0log0+0log0+…+1log1+…+0log0} =0 说明 当信源任意一个符号?#36127;?#24517;然出?#36136;保?#20854;它符号?#36127;?#19981;可能出现,这个信源是一个?#20998;?#20449;源.在发符号前,不存在不确定性;在发符号后,不提供任何信息量. 当任意一个概率分量等于1时,才能使信源信息熵等于0. 4.香农辅助定理 对于任意两个n维概率矢量P=(p1,p2,…,pn)和Q=(q1,q2,…,qn),如下不等式成立: 5.最大离散信源熵定理 给定离散无?#19988;?#20449;源输出n个不同的信息符号,离散信源的n个概率分量p1, p2,…,pn , 当且仅当各个符号出现概率相等时(即pi=l/n)熵最大。 H(X)<= H(1/n,1/n,…,1/n) = logn 证明: 按条件极值的数学求解方法,做辅助函数(约束条件 ) F(p1,p2,…pn) = H(p1,p2,…,pr)+λ[∑pi–1] = -∑pi㏒pi +λ[∑pi –1] 其中,λ为待定常数,对辅助函数F(p1,p2,…pn)中的n 个变量pi(i=1,2,…,n)分别求偏导,并置之为零,得n个稳定点方程 -(1+ ㏒pi)+λ=0 (i=1,2,…,n) 由稳定点方程可解得 pi=2(λ-1) (i=1,2,…,n) 将上式代入约束方程,有 ∑pi =∑2 (λ-1)=n• 2(λ-1)=1 即得 2(λ-1)=1/n 解得使熵函数H(p1,p2,…pn)取得条件极大值,即熵函数H(p1,p2,…pn)的最大值的信源符号xi(i=1,2,…,n)相应的概率分布 pi=1/n 由此,求得熵函数的最大值 H0(p1,p2,…pn)=H(1/n,1/n,…,1/n) = –∑1/n㏒1/n =㏒ n 在一般情况下,离散信源的熵函数不会超过上式所示的最大值,即有 H(p1,p2,…pn) ≤㏒ n 6.条件熵小于无条件熵 条件熵小于信源熵:H(X/Y) <= H(X)。当且仅当X和Y相互独立时,p(x/y)=p(x),取等号。 证明: 由 I(X;Y)= H(X)一H(X/Y) 知 I(X;Y)>= 0, 所以, H(X)一 H(X/Y)>= 0 H(X)>= H(X/Y) 两个条件下的条件熵小于一个条件下的条件熵: H(Z/X Y)<= H(Z/Y)。 当且仅当p(z/xy)=p(z/y)时取等号。 联合熵小于信源熵之和: H(XY) H(X)+H(Y)。当且仅当两个集合相互独立时取等号,此时可得联合熵的最大值,即 H(XY)max = H(X)+H(Y)。 证明: 由 H(XY)=H(X)+H(Y/X) H(XY)=H(Y)+H(X/Y) 有 2 H(XY)=H(X)+ H(Y) + H(Y/X) +H(X/Y) (i) 由 I(X;Y)=H(X)一H(X/Y) I(Y;X)= H(Y)一 H(Y/X) I(Y;X) = I(X;Y) 有 2I(X;Y)= H(X)+ H(Y) - H(Y/X) - H(X/Y) (ii) 由(i)和(ii)知: 2 H(XY)+ 2I(X;Y)=2H(X)+ 2H(Y) 所以 I(X;Y) =H(X)+ H(Y) - H(XY) 又 I(X;Y) >=0 所以 H(X)+ H(Y) >= H(XY) 互信息量与熵之间的关系图 从图中可得到如下关系 H(XY)= H(X)+H(Y/X) = H(Y)+H(X/Y) H(X) H(X/Y),H(Y) H(Y/X) I(X;Y)= H(X)- H(X/Y) = H(Y)- H(Y/X) = H(X)+H(Y)H(XY) H(XY) H(X)+H(Y) 如果X与Y互相独立,则I(X;Y)=0 此时:H(XY)=H(X)+H(Y) H(X)=H(X/Y) H(Y)=H(Y/X) 例2-2-6 二进制通信系统用符号“0”和“1”,由于存在失真,传输时会产生误码,用符号表示下列事件:u0:发出一个“0”;u1:发出一个“1”;v0:收到一个“0”;v1:收到一个“1”。 给定下列概率:p(u0)=1/2, p(v0/u0)=3/4,p(v0/u1)=1/2,求 (1)已知发出一个“0”,收到符号后得到的信息量; (2)已知发出的符号,收到符号后得到的信息量; (3)知道发出的和收到的符号能得到的信息量; (4)已知收到的符号,被告知发出的符号得到的信息量。 解:设U={u0,u1},V={v0,v1}, (1)先求出 p(v1/u0)=1 – p(v0/u0)=1/4 所以 H(V/u0)= – p(v0/u0)log2p(v0/u0) – p(v1/u0)log2p(v1/u0) =H(1/4,3/4)=0.82 比特/符号 (2)联合概率 p(u0 v0)=p(v0/u0)p(u0)=3/8, 同理可得 p(u0 v1)= p(v1/u0)p(u0) =1/8, p(u1 v0)= p(v0/u1)p(u1) =1/4, p(u1 v1)= p(v1/u1)p(u1) =1/4 H(V/U)= =0.91 比特/符号 (3)解法1: H(U V)= =-p(u0v0)log2p(u0v0) - p(u0v1)log2p(u0v1) -p(u1v0)log2p(u1v0) - p(u1v1)log2p(u1v1) =1.91 比特/符号 解法2: 因为p(u0)=p(u1)=1/2, 所以H(U)=- p(u0)log2 p(u0) - p(u1)log2 p(u1) =1 比特/符号 H(UV)=H(U)+H(V/U) = 1+0.91 =1.91比特/符号 (4)可求出 p(v0)= p(u0v0)+p(u1v0) =3/8+1/4 =5/8 p(v1)= p(u0v1) +p(u1v1) =1/8+1/4 =3/8 H(V)=H(3/8,5/8)=0.96 比特/符号 H(UV)= H(V)+ H(U/V) H(U/V)=H(UV)- H(V) =1.91- 0.96 =0.95 比特/符号 第 三 讲 2002年4月29日 回顾第二讲 条件熵定义 在给定Y(即各个yj)条件下,X集合的条件 熵H(X/Y)定义为 H(X/Y) 回顾第二讲 联合熵定义 联合熵是联合符号集合 XY上的每个元素对xiyj的自信息量的概率加权统计平均值。定义为 H(XY) 回顾第二讲 什么叫互信息量? 什么叫平均互信息量? 数据处理定理如何描述? 当消息通过多级处理器时,随着处理器数目的增多,输入消息与输出消息之间的平均互信息量趋于变小。 熵函数的代数性质: 1.非负性 2.对称性 H(x1,x2,…,xn)=H(x2,x1,…,xn) =H(xn,x1,…,x2) = … 3. 确定性 H(x) = H(0,0,…,1,…,0) = -{0log0+0log0+…+1log1+…+0log0} = 0 4. 香农辅助定理 5. 最大熵定理 6. 条件熵小于无条件熵 今天所讲内容如下 第三节 连续信源的熵和互信息 2.3.1 连续信源的熵 什么叫连续信源熵? 分析如下: 假设x [a, b],令 △x =(b-a)/n, xi [a+(i-1) △x , a+i△x ],px(x)为连续变量X的概率密度函数,则利用中值定理, X取xi的概率是: 根据离散信源熵的定义,则 当n 时,即 时,由积分定义得 上式的第一项具有离散信源熵的形式,是定值,第二项为无穷大。 因此, 连续信源熵(也叫相对熵)定义为: 说明: 为什么连续信源的不确定度为无穷大? 虽然连续信源熵与离散信源熵具有相同的形式,但其意义不同。连续信源的不确定度应为无穷大,这是因为连续信源可以假设是一个不可数的无限多个幅度值的信源,需要无限多个二进制比特来表示,因而它的熵为无穷大(绝对熵)。但采用上式来定义连续信源的熵是因为在?#23548;?#38382;题中,常遇到的是熵之间的差,如互信息量,只要两者?#24179;?#26102;所取的△x 一致,上式中第二项无穷大量是抵消的。 由图(a)得 由图(b)得 说明: 图(b)是图(a)的放大,计算结果表明信息量增加了,这是荒谬的。因为这两种情况的绝对熵是不会变的,这是由无穷大项所造成的,图(b)比(a)大了1比特。因此Hc(X)给出的熵有相对意义,而不是绝对值。 连续信源联合相对熵 连续信源条件相对熵 2. 互信息量 Hc(XY)=Hc(X)+Hc(Y/X) =Hc(Y)+Hc(X/Y) I(X;Y)=I(Y;X) =Hc(X)- Hc(X/Y) =Hc(X)+Hc(Y)- Hc(XY) =Hc(Y)- Hc(Y/X) 2.3.2 连续信源最大相对熵定理 问题: 在连续信源中,当概率密度函数满足什么条件时才能使连续信源相对熵最大? 峰值功率受限的最大相对熵定理 对于定义域为有限的随机矢量X,当它是均匀分布时,其熵最大。 证明: 已知变量X的幅?#28909;?#20540;限制在[a,b],则 由, 有 , 对于 由拉格郎日乘数法知 令 当任意 符合平均分布条件 时,信源达到最大熵。 限平均功率最大相对熵定理 对于相关矩阵一定的随机矢量X,当它是正态分布时具有最大相对熵。 证明: 设:连续信源X在整个实数轴R:(-∞,∞) 取值, 其平均功率限定为P(均值固定为m)。若 是 满足平均功率限定条件(均值固定为m)的除 了正态分布的概率密度函数以外的任一概率密 度函数,即有 若把连续信源X在取值区间(-∞,∞)内满足平均功率限定条件(均值固定为m)的正态分布的概率密度函数记为 ,则有 =1 (4) =m (5) =P (6) 符合约束条件(4)和(5)及(6)式的正态分布的概率密度函数 其中:m为数学期望, 是方差 由(1),(2),和(3)及(4)式可有 其中, 这就证明了,平均功率限定P(均值固定为m)的连续信源X,当输出消息的概率密度函数为高斯分布的概率密度函数p(x)时,其相对熵H(X)达到最大值Hp(X),其值只取决于限定的平均功率(固定均值为m),即取决于方差 均值受限最大相对熵定理 证明:设连续信源X的取值区间为(0,∞),均值限定为a(a>0)。若q(x)是满足均值限定条件的,除了指数分?#23478;?#22806;的任意概率分布的概率密度函数,即有 =1 (1) =a (2) 若把连续信源X在取值区间(0,∞)内满足均值限定条件的指数分布的概率密度函数记为p(x),则有 =1 (3) =a (4) 符合限制条件(3)和(4)式的指数分布的概率密度函数 (5) 由(1),(2),(3),(4),(5)式可得 (7) 这就证明了,输出非负消息且其均值限定a的单维连续信源X, 当输出消息的概率密度函数为指数分布的概率密度函数p(x)时,其相对熵H(X)达到最大值Hp(X),其值只取决于限定均值a。

    大数据云计算ppt:这是大数据云计算ppt,包括了云计算到来的必然性和趋势性,云计算的一些术语、概念,云计算在中小?#25512;?#19994;中的?#23548;?#24212;用,大数据基础知识介绍,大数据案例分析等内容,欢迎点击下载。

    大数据毕业答辩ppt:这是大数据毕业答辩ppt,包括了产品需求理解和整体规划,演进路线,开发及运营能力,产品运行能力等内容,欢迎点击下载。

    数据结构ppt李云清:这是数据结构ppt李云清,包括了为什么要学习数据结构,基本概念和术语,抽象数据类型,算法和算法分析,作业等内容,欢迎点击下载。

    下载地址

    推荐PPT

    PPT分类Classification

    Copyright:2009-2015 rsdown.cn Corporation,All Rights Reserved 红软PPT免费下载网版权所有

    粤ICP备14102101号

    七乐彩走势图浙江风采