N次扩展信源的熵
离散无记忆信源X的N次扩展心愿X^N的熵等于信源X熵的N倍，即H(X^N)=NH(X)
平均符号熵
表示N长信源输出符号序列中，平均每个符号所携带的信息量（即N长信源每发一个符号提供的平均信息量），用于评估离散平稳有记忆信源每发一个符号提供的平均信息量。
1.各维条件熵H(XN|X1X2X3...XN-1)随N的增加是非递增的
2.N给定时，平均符号熵大于等于条件熵
扫描二维码关注公众号，回复：
13818195 查看本文章
3.平均符号熵随着N的增加是非递增的
极限熵
信源输出为N长符号序列，当N——>∞，则极限熵H(∞)为
极限信息量（熵率）
即作为一个离散平稳有记忆信源X=X1X2…XN提供信息能力的衡量标准。
含义：对于离散平稳信源，当N→∞时（即依赖关系为无限长时），平均符号熵和条件熵都非递增地一致趋于平稳信源的信息熵（极限熵）。
实际中常取有限N下的条件熵作为H∞的近似值。因为取N不是很大时，就能得到非常接近H∞的值，常取N=7,8,9
平稳信源的记忆长度有限时，如马尔科夫信源。设记忆长度为m(即某时刻发出什么符号只与前m个符号有关），则离散平稳份信息的极限熵等于有限记忆长度m的条件熵
