非齐次马氏信源的信息熵定理及Rényi熵估计

发布时间：2021-10-19 05:49

　　熵的概念最初源自于热力学,随后进一步发展到统计物理与信息论等学科。在热力学、统计物理和信息论等学科领域里,熵的概念占据着一个中心位置。Shannon熵的理论体系已经比较完善,Rényi熵是Shannon熵的一个自然的推广,并且已在计算机科学、金融学、密码学和信息论等其它科学中获得了广泛的应用。本文主要研究关于Shannon熵和Rényi熵的非齐次马氏信源的信息熵定理及Rényi熵估计。基于Shannon熵和Rényi熵的基本概念,较详细地讨论了各种条件Rényi熵的定义,并且举例比较它们之间的关系。利用研究概率论极限理论的分析方法,研究了一类非齐次马氏信源--有限渐近循环马氏链的广义Shannon McMillan-Breiman定理、Rényi熵率,最后利用蒙特卡洛方法给出了Rényi熵的估计。全文分为五个章节:第一章简要阐述了熵的发展背景及应用;第二章归纳了多种Rényi条件熵的定义和基本性质并举例比较了它们之间的关系;第三章给出了有限渐近循环马氏链的广义平均的若干极限定理,然后建立关于有限渐近循环马氏链广义Shannon McMillan-Breiman定理;第四章研究非齐次马氏... 

【文章来源】：安徽工业大学安徽省

【文章页数】：59 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 熵
    1.2 研究背景及问题的提出
    1.3 本文主要结构及内容
    1.4 本文的主要创新点
第二章 Shannon熵与Rényi熵
    2.1 Shannon熵的基本概念与性质
    2.2 Rényi熵及Rényi条件熵
第三章 渐进循环马氏链的强极限定理与广义信息熵定理
    3.1 基本概念
    3.2 主要结果
第四章 非齐次马氏链的Rényi熵率
    4.1 基本概念
    4.2 主要结果
第五章 Rényi熵的估计
    5.1 蒙特卡洛方法介绍
    5.2 正态分布Rényi熵的模拟计算
    5.3 伽马分布Rényi熵的模拟计算
结束语
参考文献
附录
致谢
在学研究成果



本文编号：3444273