1. 回顾期望的定义

对于连续性随机变量 X X X,期望为:
E X ∼ f ( x ) [ X ] = ∫ Ω x f ( x ) d x E_{X\sim f(x)}[X] = \int_{\Omega}xf(x)dx EXf(x)[X]=Ωxf(x)dx
其中 f ( x ) f(x) f(x)概率密度函数 Ω \Omega Ω为概率密度函数的定义域。

对于离散型随机变量 X X X,期望为:
E [ X ] = ∑ x x P ( X = x ) E[X] = \sum_x xP(X = x) E[X]=xxP(X=x)
其中 P ( X = x ) P(X=x) P(X=x)表示随机变量 X X X等于 x x x时的概率


2. 积分,期望,求和,均值

然而在机器学习当中,我们常常会发现这种等式,它将求期望,求和,积分统一了起来:
E ( X ) = ∑ x x p ( x ) = ∫ x p ( x ) d x (1) E(X) = \sum_x xp(x) = \int xp(x)dx \tag1 E(X)=xxp(x)=xp(x)dx(1)
实际上这种写法是不严谨的。如果我们理解了本文开头部分就会发现,连等式第二,第三项中的 p ( x ) p(x) p(x)表达的含义是不一样的。第二项的 p ( x ) p(x) p(x)表达的是 x x x事件发生的概率(或者称为随机变量 X X X等于 x x x概率),而第三项的 p ( x ) p(x) p(x)则是概率密度函数

那么为什么在求期望时,能够把求和与积分统一起来(第二项和第三项)?我们可以回顾一下概率密度函数的意义。

定义: f ( x ) f(x) f(x)为概率密度函数, ∫ a b f ( x ) d x \int^b_a f(x)dx abf(x)dx表示随机变量 X X X属于 [ a , b ] [a,b] [a,b]区间的概率。

2.1. 期望与求积分,求均值的关系:

为了一般性,我们考虑对函数 F ( x ) F(x) F(x)求期望,其中 x x x服从概率密度函数 f ( x ) f(x) f(x)
E X ∼ f ( x ) [ F ( X ) ] = ∫ Ω F ( x ) f ( x ) d x E_{X \sim f(x)}[F(X)] = \int_\Omega F(x)f(x)dx EXf(x)[F(X)]=ΩF(x)f(x)dx
Ω \Omega Ω拆分成多个无穷小的区间 Ω i \Omega_i Ωi,在每个无穷小区间内,我们认为 F ( x ) F(x) F(x)不变,因此可以视为常数
∫ Ω F ( x ) f ( x ) d x = ∑ i F ( x i ) ∫ Ω i f ( x ) d x (2) \int_\Omega F(x)f(x)dx = \sum_i F(x_i)\int_{\Omega_i}f(x)dx \tag2 ΩF(x)f(x)dx=iF(xi)Ωif(x)dx(2)
同时根据概率密度函数的定义, ∫ Ω i f ( x ) d x \int_{\Omega_i}f(x)dx Ωif(x)dx即为: x ∈ Ω i x \in \Omega_i xΩi这个区间的概率,记为 p ( x i ) p(x_i) p(xi)。由于区间是无穷小的,我们可以直接近似随机变量 X = x i X=x_i X=xi这一事件发生的概率

因此 ( 2 ) (2) (2)式又可以写做:
∫ Ω F ( x ) f ( x ) d x = ∑ i F ( x i ) ∫ Ω i f ( x ) d x = ∑ i n F ( x i ) p ( x i ) = ∑ i n F ( x i ) N ( x i ) N = 1 N ∑ i n F ( x i ) N ( x i ) \begin{align*} \int_\Omega F(x)f(x)dx & = \sum_i F(x_i)\int_{\Omega_i}f(x)dx \\ & = \sum_i^n F(x_i)p(x_i) \\ & = \sum_i^n F(x_i) \frac{N(x_i)}{N} \\ & = \frac{1}{N}\sum_i^n F(x_i) N(x_i) \tag2 \end{align*} ΩF(x)f(x)dx=iF(xi)Ωif(x)dx=inF(xi)p(xi)=inF(xi)NN(xi)=N1inF(xi)N(xi)(2)
其中 N N N为总实验次数, N ( x i ) N(x_i) N(xi)表示随机实验中,随机变量 X = x i X = x_i X=xi这一事件发生的次数。
我们可以发现 ( 2 ) (2) (2)式可以近似表示成: N N N次实验中, F ( x ) F(x) F(x)取值之和的平均值。即 E X ∼ f ( x ) [ F ( x ) ] E_{X\sim f(x)}[F(x)] EXf(x)[F(x)]:在 x x x服从概率密度函数 f ( x ) f(x) f(x)的情况下的期望,或者说是 F ( x ) F(x) F(x)相对于概率密度函数 f ( x ) f(x) f(x)的期望(相对期望)。
由于 F ( x ) F(x) F(x)可以替换成任意以 x x x为自变量的函数,我们可以令 F ( x ) = x F(x)=x F(x)=x,即为 ( 1 ) (1) (1)式。

需要注意的是,求均值是对积分的近似表示,这是因为:

  1. 拆分的区间在实际计算的过程中,不可能是无穷小的,只能尽可能小。 对应于实际采样/实验的次数是有限的。
  2. 区间内的采样不可能是完全均匀的:实际的实验/采样过程中,随机变量 X X X有可能会倾向于取某一段区间内的值(对应于 X X X一直位于重复的 Ω i \Omega_i Ωi),有些区间内的值可能一直无法取到。比如高斯分布, 3 σ 3 \sigma 3σ外的值很难取到。当然,增加重复实验/采样的次数可以缓解这个问题。

有人这里会说,既然 x x x一直位于重复的 Ω i \Omega_i Ωi,那么我对区间 Ω \Omega Ω构造均匀分布,然后对这个均匀分布采样不就行了?但是我们要注意, X ∼ f ( x ) X \sim f(x) Xf(x),而 f ( x ) f(x) f(x)并不一定是这个对应的均匀分布。因此这种方式不可行。
当然,我们可以采用重要性采样来解决某些值一直取不到的问题,感兴趣的读者可以自行查阅。

蒙特卡洛方法求积分,最朴素的手段就是定义一个在积分上下限这个区间上的均匀分布,在这个均匀分布上采样,然后求均值。

因此,出现了求期望,可以把求积分,求和,求均值都联系在一起。甚至于说,只要出现求积分,也可以与求均值,求和联系在一起(蒙特卡洛积分)。

3. 总结

出现了这种期望的形式 E X ∼ f ( x ) [ F ( X ) ] = ∫ F ( x ) f ( x ) d x E_{X \sim f(x)}[F(X)] = \int F(x)f(x)dx EXf(x)[F(X)]=F(x)f(x)dx,其中 f ( x ) f(x) f(x)为概率密度函数。我们都可以用求和再求均值的方式来近似:
∫ F ( x ) f ( x ) d x = 1 N ∑ i N F ( x i ) \int F(x)f(x)dx = \frac{1}{N}\sum_i^N F(x_i) F(x)f(x)dx=N1iNF(xi)
其中 N N N为总实验次数, x i x_i xi表示第 i i i次实验随机变量的取值。
也可以表示为:
∫ F ( x ) f ( x ) d x = ∑ i n F ( x i ) ⋅ p ( x i ) \int F(x)f(x)dx = \sum_i^nF(x_i) \cdot p(x_i) F(x)f(x)dx=inF(xi)p(xi)
这里的 n n n表示随机变量 X X X n n n个取值, p ( x i ) p(x_i) p(xi)为随机变量 X = x i X = x_i X=xi的概率。上面两个式子是完全等价的。但需要注意 x i x_i xi的含义不一样。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/web/87902.shtml
繁体地址,请注明出处:http://hk.pswp.cn/web/87902.shtml
英文地址,请注明出处:http://en.pswp.cn/web/87902.shtml

如若内容造成侵权/违法违规/事实不符,请联系英文站点网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

1.如何对多个控件进行高效的绑定 C#例子 WPF例子

使用ObservableCollection高效为多个控件绑定数据在WPF开发中,数据绑定是一个非常重要的功能,它允许我们将UI控件与数据源进行绑定,从而实现数据的自动更新。当需要为多个控件绑定数据时,使用ObservableCollection可以大大提高开发…

JSONLines和JSON数据格式使用教程

文章目录 一、核心区别二、JSONLines 的优势三、Python 中使用 JSONLines1. 写入 JSONLines 文件2. 读取 JSONLines 文件3. 处理大文件示例四、常见工具支持1. 命令行工具2. 编程语言库五、适用场景选择六、注意事项总结JSONLines(简称 jsonl 或 jl)和传统 JSON 都是用于存储…

链表算法之【反转链表】

目录 LeetCode-206题 LeetCode-206题 给定一个单链表的头节点,请反转链表,并返回反转后的链表 class Solution {public ListNode reverseList(ListNode head) {// checkif (head null || head.next null)return head;// 双指针ListNode p1 head;Li…

回溯题解——子集【LeetCode】输入的视角(选或不选)

78. 子集 ✅ 一、算法逻辑讲解(逐步思路) 逻辑讲解: dfs(i):表示从下标 i 开始,做“选 or 不选”的子集构造。 终止条件 if i n: 到达数组末尾,表示一种完整子集构造完成。 把当前构造路径…

使用Electron开发跨平台本地文件管理器:从入门到实践

在当今数字化时代,文件管理是每个计算机用户日常工作中不可或缺的一部分。虽然操作系统都提供了自己的文件管理器,但开发一个自定义的文件管理器可以带来更好的用户体验、特定功能的集成以及跨平台的一致性。本文将详细介绍如何使用Electron框架构建一个…

JBHI 2025 | 潜在扩散模型赋能胸部X射线骨抑制

Abstract: 肺部疾病是全球健康面临的一项重大挑战,胸部 X 光检查(CXR)因其方便性和经济性而成为一种重要的诊断工具。 然而,CXR 图像中重叠的骨结构往往会阻碍肺部病变的检测,从而导致潜在的误诊。 为解决这一问题&am…

408第三季part2 - 计算机网络 - 计算机网络基本概念

理解然后区分一下这2个区别特点是建立连接存储转发的意思是A先发给B,B再发给C,就这样这里缺点比如A很大,你给B缓存开销大还需要排序然后形象的图题目分组头部要放一些源地址和目的地址这些东西以后发数据只会往近的发,不可能往下面…

互补功率放大器Multisim电路仿真——硬件工程师笔记

目录 1 互补功率放大器基础知识 1.1 工作原理 1.2 电路结构 1.3 优点 1.4 缺点 1.5 应用 1.6 总结 2 OCL乙类互补功率放大电路 2.1 电路结构 2.2 工作原理 2.3 优点 2.4 缺点 2.5 总结 3 OCL甲乙类互补功率放大电路 3.1 电路结构 3.2 工作原理 3.3 优点 3.4 …

【1】确认安装 Node.js 和 npm版本号

搭建前端项目时需要安装 Node.js 和 npm,主要是因为它们提供了一些重要的功能和工具,帮助开发者高效地开发、构建和管理项目。一、具体原因如下: Node.js:JavaScript 运行环境 Node.js 是一个基于 Chrome V8 引擎的 JavaScript 运…

7、从网络中获取数据

目录 订阅网络状态变化创建网络对象获取默认激活网络及其能力可订阅事件可订阅事件——网络可用事件可订阅事件——网络阻塞状态事件可订阅事件——网络能力变化事件可订阅事件——网络连接信息变化事件可订阅事件——网络丢失事件常见事件订阅场景 开发流程 使用HTTP访问网络发…

搭建个人博客系列--docker

因为后续所有的组件都会在docker上安装,所以要先安装docker。一、安装docker1.配置yumyum install -y yum-utilsyum makecache fast2.卸载老dockeryum remove docker3.配置镜像地址yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos…

【Note】《Kafka: The Definitive Guide》 第5章:深入 Kafka 内部结构,理解分布式日志系统的核心奥秘

《Kafka: The Definitive Guide》 第5章:深入 Kafka 内部结构,理解分布式日志系统的核心奥秘 Apache Kafka 在表面上看似只是一个“分布式消息队列”,但其背后的存储架构、分区机制、复制策略与高性能设计,才是它在千万级 TPS 场景…

当“漏洞”成为双刃剑——合法披露与非法交易的生死线在哪里?

首席数据官高鹏律师数字经济团队创作,AI辅助 一、一场“漏洞”的博弈:从“手术刀”到“毒药”的分界 2025年夏,某电商平台因系统漏洞被曝光,引发舆论风暴。白帽子甲在发现漏洞后,第一时间联系平台技术团队&#xff0…

Hadoop 分布式存储与计算框架详解

Hadoop开发实战:https://www.borimooc.com/course/1004.htm hadoop是适合海量数据的分布式存储,和分布式计算的框架 hadoop有三大组件: mapreduce:适合海量数据的分布式计算,分为map阶段、shuffle阶段和reduce阶段hdfs:分布式文…

LeetCode 2099.找到和最大的长度为 K 的子序列:自定义排序

【LetMeFly】2099.找到和最大的长度为 K 的子序列:自定义排序 力扣题目链接:https://leetcode.cn/problems/find-subsequence-of-length-k-with-the-largest-sum/ 给你一个整数数组 nums 和一个整数 k 。你需要找到 nums 中长度为 k 的 子序列 &#x…

循环移位网络设计

总体架构 模块描述 循环移位网络模块(模块名:VAL_CS_PROC),对输入数据(in_data)做循环移位处理,两个cycle即可输出数据。 Fig 1 循环移位模块顶层 设计要求 00】 支持对data_num个有效数据做…

IO进程线程(IPC通讯)

目录 一、IPC通讯机制 1)传统的通讯机制: 2)systemV 的通讯机制: 3)跨主机的通讯机制: 1、无名管道 1)无名管道的概念 2)无名管道的函数 3)无名管道通讯&#xf…

Webpack 5 核心机制详解与打包性能优化实践

🤖 作者简介:水煮白菜王,一个web开发工程师 👻 👀 文章专栏: 前端专栏 ,记录一下平时在博客写作中,总结出的一些开发技巧和知识归纳总结✍。 感谢支持💕💕&am…

Manus AI与多语言手写识别

技术文章大纲:Manus AI与多语言手写识别 引言 手写识别技术的发展背景与市场需求Manus AI的定位与核心技术优势多语言场景下的挑战与机遇 Manus AI的核心技术架构 基于深度学习的端到端手写识别模型多模态数据融合(笔迹压力、书写轨迹等)…

Go与Python爬虫对比及模板实现

go语言和Python语言都可选作用来爬虫项目,因为python经过十几年的累积,各种库是应有尽有,学习也相对比较简单,相比GO起步较晚还是有很大优势的,么有对比就没有伤害,所以我利用一个下午,写个Go爬…