• 原创美文
  • 经典文章
  • 情感美文
  • 伤感文章
  • 散文
  • 美文随笔
  • 感人文章
  • 人生哲理
  • 学生美文
  • 民族文化
  • 说说大全
  • 网名大全
  • 范文大全
  • 当前位置: 佩佩美文网 > 学生美文 > 正文

    【信息论与编码课后答案】 信息论编码第三版答案

    时间:2019-09-16 08:22:04来源:佩佩美文网 本文已影响 佩佩美文网手机站
    -->

    2.1一个马尔可夫信源有3个符号{u 1, u , 2u }3,转移概率为:p (u 1|u 1)=1/2,

    p (u 2|u 1)=1/2,p (u 3|u 1)=0,p (u 1|u 2)=1/3,p (u 2|u 2)=0,p (u 3|u 2)=2/3,

    p (u 1|u 3)=1/3,p (u 2|u 3)=2/3,p (u 3|u 3)=0,画出状态图并求出各符号稳态概率。解:状态图如下

    状态转移矩阵为:

    0⎫⎛1/21/2

    ⎪p = 1/302/3⎪

    1/32/30⎪⎝⎭

    设状态u 1,u 2,u 3稳定后的概率分别为W 1,W 2、W 3

    11⎧1

    W 1+W 2+W 3=W 110⎧⎪2W 1=33⎪⎪2512⎪⎪⎧WP =W 9⎪W 1+W 3=W 2⎪

    由⎨得⎨2计算可得⎨W 2= 3

    25⎩W 1+W 2+W 3=1⎪2⎪

    6⎪W 2=W 3⎪W 3=3⎪⎪25⎩⎪W 1+W 2+W 3=1⎩

    2.2 由符号集{0,1}组成的二阶马尔可夫链,其转移概率为:p (0|00) =0.8,p (0|11)=0.2,

    p (1|00) =0.2,p (1|11)=0.8,p (0|01) =0.5,p (0|10)=0.5,p (1|01) =0.5,p (1|10)=0.5。

    画出状态图,并计算各状态的稳态概率。

    =p 解:p (0|00) =p (00|00) =0.8 p (0|01)

    p (0|11)=p (10|11)=0.2 p (0|10=) p p (1|00) =p (01|00) =0.2 p (1|01) =p

    (10=|01) (00=|10) (11=|01)

    p (1|11)=p (11|11)=0.8 p (1|10)=p (01|10)=0.5

    0⎫⎛0.80.20

    ⎪000.50.5⎪ 于是可以列出转移概率矩阵:p =

    0.50.500⎪ ⎪000.20.8⎝⎭

    状态图为:

    设各状态00,01,10,11的稳态分布概率为W 1,W 2, W 3, W 4 有

    5⎧W 1=⎪14⎧0.8W 1+0.5W 3=W 1

    ⎪0.2W 1+0.5W 3=W 2

    ⎪W 2=1⎧WP =W ⎪⎪⎪⎪47

    0.5W 2+0.2W 4=W 3 得 计算得到⎨⎨⎨

    W i =1∑⎪0.5W 2+0.8W 4=W 4⎪W 3=1⎪⎩i =1

    ⎪⎪7W 1+W 2+W 3+W 4=1⎪⎪⎩5

    ⎪W 4=

    14⎩

    2.7 设有一离散无记忆信源,其概率空间为

    ⎛X ⎫⎛x 1=0x 2=1x 3=2x 4=3⎫

    ⎪= ⎪ P 3/81/41/41/8⎝⎭⎝⎭

    (1)求每个符号的自信息

    (2)信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210},求该序列的自信息量和平均每个符号携带的信息量 解:I (x 1) =log 2

    18

    =log 2=1.415bit p (x 1) 3

    同理可以求得I (x 2) =2bit , I (x 3) =2bit , I (x 3) =3bit

    因为信源无记忆,所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有:I =14I (x 1) +13I (x 2) +12I (x 3) +6I (x 4) =87.81bit 平均每个符号携带的信息量为

    87.81

    =1.95bit/符号 45

    2.11 有一个可以旋转的圆盘,盘面上被均匀的分成38份,用1,…,38的数字标示,其中有两份涂绿色,18份涂红色,18份涂黑色,圆盘停转后,盘面上的指针指向某一数字和颜

    色。

    (1)如果仅对颜色感兴趣,则计算平均不确定度

    (2)如果仅对颜色和数字感兴趣,则计算平均不确定度 (3)如果颜色已知时,则计算条件熵

    解:令X 表示指针指向某一数字,则X={1,2,……….,38}

    Y 表示指针指向某一种颜色,则Y={l绿色,红色,黑色} Y 是X 的函数,由题意可知p (x i y j ) =p (x i ) (1)H (Y ) =

    ∑p (y j )log

    j =1

    3

    12381838

    =log +2⨯log =1.24bit/符号 p (y j ) 3823818

    (2)H (X , Y ) =H (X ) =log 238=5.25bit/符号

    (3)H (X |Y ) =H (X , Y ) -H (Y ) =H (X ) -H (Y ) =5.25-1.24=4.01bit/符号 2.12 两个实验X 和Y ,X={x1 x 2 x 3},Y={y1 y 2 y 3},l联合概率r (x i , y j )=r ij 为

    ⎛r 11r 12

    r 21r 22 r

    ⎝31r 32r 13⎫⎛7/241/240⎫⎪ ⎪r 23⎪= 1/241/41/24⎪

    r 33⎪1/247/24⎪⎭⎝0⎭

    (1) 如果有人告诉你X 和Y 的实验结果,你得到的平均信息量是多少?

    (2) 如果有人告诉你Y 的实验结果,你得到的平均信息量是多少?

    (3) 在已知Y 实验结果的情况下,告诉你X 的实验结果,你得到的平均信息量是多少? 解:联合概率p (x i , y j ) 为

    H (X , Y ) =∑p (x i , y j )log 2

    ij

    1p (x i , y j )

    =2⨯

    72411

    log 2+4⨯log 224+log 24247244

    =2.3bit/符号

    1

    H (Y ) =3⨯log 23=1.58bit/符号

    3

    H (X |Y ) =H (X , Y ) -H (Y ) =2.3-1.58

    =0.72bit/符号

    2.16 黑白传真机的消息元只有黑色和白色两种,即X={黑,白},一般气象图上,黑色的出现概率p(黑) =0.3,白色出现的概率p(白) =0.7。

    (1)假设黑白消息视为前后无关,求信源熵H(X),并画出该信源的香农线图 (2)实际上各个元素之间是有关联的,其转移概率为:P(白|白) =0.9143,P(黑|白) =0.0857,P(白|黑) =0.2,P(黑|黑) =0.8,求这个一阶马尔可夫信源的信源熵,并画出该信源的香农线图。

    (3)比较两种信源熵的大小,并说明原因。 解:(1)H (X ) =0.3log 2P(黑|白)=P(黑)

    1010

    +0.7log 2=0.8813bit/符号 37

    P(白|白) =P(白)

    P(黑|黑) =P(黑)

    P(白|黑) =P(白)

    (2)根据题意,此一阶马尔可夫链是平稳的(P(白) =0.7不随时间变化,P(黑) =0.3不随时 间变化)

    H ∞(X ) =H (X 2|X 1) =∑p (x i , y j )log 2

    ij

    1p (x i , y j )

    =0.9143⨯0.7log 2+0.8⨯0.3log 2

    10.8

    111

    +0.0857⨯0.7log 2+0.2⨯0.3log 2

    0.91430.08570.2

    =0.512bit/符号

    2.20 给定语音信号样值X 的概率密度为p (x ) =小于同样方差的正态变量的连续熵。

    解:

    1-λx

    λe , -∞

    1-λx

    H c (X ) =-⎰p x (x )log p x (x ) dx =-⎰p x (x )log e dx

    2-∞-∞1

    =-⎰p x (x )log dx -⎰p x (x )(-λx )log edx

    2-∞-∞11-λx

    =-log +log e ⎰e (λx ) dx

    22-∞

    11

    =-log λ+log e ⎰e λx ⋅λ(-x ) dx +log

    22-∞11

    =-log λ+2log e ⎰2xe -λx dx

    2201-λx +∞

    ⎤=-log λ-log e ⎡(1+λx ) e ⎣⎦0

    212e =-log λ+log e =log

    +∞0

    +∞

    +∞

    +∞

    +∞

    +∞+∞

    1-λx

    e (λx ) dx 2

    E (X ) =0, D (X ) =

    2

    λ2

    1214πe H (X , ) =log 2πe 2=log 2=>=H (X )

    2λ2λ

    2.29 有一个一阶平稳马尔可夫链X 1, X 2, , X r , , 各X r 取值于集合A ={a 1, a 2, a 3}, 已知起始概率P(Xr ) 为p 1=1/2, p 2=p 3=1/4,转移概率如下图所示

    (1) 求(X 1, X 2, X 3) 的联合熵和平均符号熵 (2) 求这个链的极限平均符号熵

    (3) 求H 0, H 1, H 2和它们说对应的冗余度 解:(1)

    H (X 1, X 2, X 3) =H (X 1) +H (X 2|X 1) +H (X 3|X 2, X 1)

    =H (X 1) +H (X 2|X 1) +H (X 3|X 2)

    111111

    H (X 1) =-log -log -log =1.5bit /符号

    224444

    ,X 的联合概率分布为

    那么

    p (x 2j ) =∑p (x 1i x 2j )

    i

    X 2的概率分布为

    H (X 2|X 1) =

    111131131

    log 4+log 4+log 4+log +log3+log +log3 [1**********]

    =1.209bit/符号

    X 2X 3的联合概率分布为

    那么

    H (X 3|X 2) =

    =1.26bit/符号

    771535535

    log 2+log 4+log 4+log +log 3+log +log 3 [**************]

    H (X 1, X 2, X 3) =1.5+1.209+1.26=3.969bit /符号

    所以平均符号熵H 3(X 1, X 2, X 3) =

    3.969

    =1.323bit /符号 3

    ⎛1 2 2

    (2)设a 1,a 2,a 3稳定后的概率分布分别为W1,W2,W3, 转移概率距阵为P =

    3 2 ⎝3

    14013

    1⎫4⎪⎪1⎪ ⎪3⎪0⎪⎪⎭

    224⎧1⎧W 1+W 2+W 3=1W 1=⎪2⎪337⎪⎪

    ⎧13⎪WP =W ⎪1⎪由⎨ 得到 ⎨W 1+W 3=W 2计算得到⎨W 2=

    W i =1314⎪⎩∑⎪4⎪

    3=1⎪W 1+W 2+W 3⎪W 3=⎪⎪14⎩⎩

    又满足不可约性和非周期性

    3 4111321

    H ∞(X ) =∑W i H (X |W i ) =H (, , ) +2⨯H (, ,0) =1.25bit /符号

    72441433i =1

    b i /t 符号 H 2=(3)H 0=log3=1.58bit /符号 H 1=1. 5

    1. 5+1. 209

    =1. 35b 5i /t 符号 2

    1.251.251.25

    γ0=1-η0=1

    -=0.21γ1=1-η1=1-=0.617 γ2=1-η2=1-=0.078

    1.581.51.355

    2.32 一阶马尔可夫信源的状态图如图2-13所示,信源X 的符号集为(0,1,2)。

    (1)求信源平稳后的概率分布P(0),P(1),P(2) (2)求此信源的熵

    (3)近似认为此信源为无记忆时,符号的概率分布为平稳分布。求近似信源的熵H(X)并与H ∞进行比较

    图2-13

    ⎡1-p p /2p /2⎤⎢⎥解:根据香农线图, 列出转移概率距阵P =p /21-p p /2 ⎢⎥⎢⎣p /2p /21-p ⎥⎦

    令状态0,1,2平稳后的概率分布分别为W1,W2,W3

    p ⎧

    (1-p ) W 1+W 2+⎪2

    ⎧WP =W ⎪

    ⎪p ⎪3

    得到 ⎨W 1+(1-p ) W 2+⎨W i =1⎪2⎪∑⎩i =1

    ⎪W 1+W 2+W 3=1⎪⎩

    由齐次遍历可得

    1p ⎧W =W 3=W 1

    ⎪32

    p 1⎪

    W 3=W 2 计算得到⎨W = 23⎪

    1⎪W =⎪3⎩

    1p p 12

    H ∞(X ) =∑W i H (X |W i ) =3⨯H (1-p , , ) =(1-p )log +p log

    3221-p p i

    H (X ) =log3=1.58bit /符号 由最大熵定理可知H ∞(X ) 存在极大值

    ,

    或者也可以通过下面的方法得出存在极大值:

    ⎡∂H ∞(X ) 1-p p 21⎤p

    =-⎢-log(1-p ) +(-1) +log +p ⋅⋅⎥=-log

    ∂p 1-p 2p 2⎦2(1-p ) ⎣

    p 11p p

    =-+∈[0, +∞]当p=2/3时=1 又0≤p ≤1所以

    2(1-p ) 22(1-p ) 2(1-p ) 2(1-p )

    ∂H ∞(X ) p

    0

    0

    ∂p 2(1-p )

    ∂H ∞(X ) p

    2/3

    ∂p 2(1-p )

    所以当p=2/3时H ∞(X ) 存在极大值, 且H ∞(X ) max =1.58bit /符号

    所以H ∞(X ) ≤H (X , )

    练习题:有一离散无记忆信源,其输出为X ∈{0,1,2},相应的概率为

    p 0=1/4, p 1=1/4, p 2=1/2,设计两个独立的实验去观察它,其结果分别为

    Y 1∈{0,1}, Y 2∈{0,1},已知条件概率:

    (1) 求I (X ; Y 1) 和I (X ; Y 2) ,并判断哪一个实验好些

    (2) 求I (X ; Y 1Y 2) ,并计算做Y 1和Y 2两个实验比做Y 1和Y 2中的一个实验可多得多少关于

    X 的信息

    (3) 求I (X ; Y 1|Y 2) 和I (X ; Y 2|Y 1) ,并解释它们的含义

    P(y1=0)=p(y1=1)=1/2 p(y2=1)=p(y2=1)=1/2

    11111

    ∴I (X ; Y 1) =H (Y 1) -H (Y 1|X ) =log 2-log -log -2⨯log 2=0.5bit/符号

    42424111

    I (X ; Y 2) =H (Y 2) -H (Y 2|X ) =log 2

    -log1-log1-log1=1bit /符号>I (X ; Y 1)

    442

    所以第二个实验比第一个实验好

    (2)因为Y 1和Y 2 相

    互独立,所以

    p (y 1y 2|x ) =p (y 1|x ) p (y 2|x )

    111

    ∴I (X ; Y 1Y 2) =H (Y 1, Y 2) -H (Y 1Y 2|X ) =log 4-log1-log1-⨯2log 2bit/符号

    444

    =1.5bit/符号

    由此可见,做两个实验比单独做Y 1可多得1bit 的关于X 的信息量,比单独做Y 2多得0.5bit 的关于X 的信息量。 (3)

    I (X ; Y 1|Y 2) =H (X |Y 1) -H (X |Y 1, Y 2) =H (X , Y 2) -H (X ) -[H (X ) -I (X ; Y 1, Y 2)]=[H (X ) -I (X ; Y 2)]-[H (X ) -I (X ; Y 1, Y 2)]=I (X ; Y 1, Y 2) -I (X ; Y 2)

    =1.5-1=0.5bit/符号

    表示在已做Y2的情况下,再做Y1而多得到的关于X 的信息量 同理可得

    I (X ; Y 2|Y 1) =I (X ; Y 1, Y 2) -I (X ; Y 1) =1.5-0.5=1bit/符号

    表示在已做Y1的情况下,再做Y2

    而多得到的关于X 的信息量

    • 【信息论与编码课后答案】 信息论编码第三版答案 相关文章: