当前位置: 首页 > news >正文

信息的度量

系列文章目录


文章目录

  • 系列文章目录
  • 一、离散消息的信息量
    • 1.自信息的引入
    • 2.自信息定义
  • 二、离散信源的平均信息量---信息熵
    • 1.信息熵定义



一、离散消息的信息量

1.自信息的引入

通信的本质是传递信息,为了定量表征信息的度量,引入自信息量的概念。事件包含的信息量I是事件发生概率P的函数,即:
在这里插入图片描述
在这里插入图片描述

2.自信息定义

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

二、离散信源的平均信息量—信息熵

1.信息熵定义

在这里插入图片描述
在这里插入图片描述
等概率时熵最大
在这里插入图片描述
在这里插入图片描述


相关文章:

  • 安宝特方案丨安宝特AR远程医疗方案如何重塑智慧医疗服务体系?
  • Jetson Orin NX使用 Ollama 本地部署 deepseek
  • 2025年上软考——【系统架构设计师】考前60天冲刺学习指南!!!
  • 内网渗透-端口映射
  • ngrep :网络嗅探的利器
  • 【RAG综述系列】之 RAG 相关背景和基本原理
  • 乐道突围特斯拉
  • 六十天前端强化训练之第三十天之深入解析Vue3电商项目:TechStore全栈实践(文结尾附有源代码)
  • VRRP协议介绍及一些常见问题
  • C语言实现的冰墩墩
  • 搭建简易的rtsp服务器
  • Android Studio编译问题
  • HO与OH差异之Navigation
  • GitHub供应链攻击事件:Coinbase遭袭,218个仓库暴露,CI/CD密钥泄露
  • jangow靶机攻略
  • Vue.js 过滤器(Filters):简化文本格式化的利器
  • 第十四届蓝桥杯省赛电子类单片机学习记录(客观题)
  • 2025 JMeter平替的五款工具
  • 中间件框架漏洞攻略
  • 室分覆盖(室内分布系统)详解
  • 2025年度中国青年五四奖章暨新时代青年先锋奖评选揭晓
  • 农行一季度净利润719亿元增2.2%,不良率微降至1.28%
  • 李在明涉嫌违反《公职选举法》案将于5月1日宣判
  • 王毅:妥协退缩只会让霸凌者得寸进尺
  • 港理大公布多项AI+医工成果,助港建设国际医疗创新枢纽
  • 俄罗斯总统普京:5月8日零时至11日零时实施停火