现代数字信号处理I——第一讲
本篇文章是跟着张灏老师学现代数字信号处理梳理的随机变量知识点笔记主要内容是对概率论的一些基础知识复习第一讲梳理了离散随机变量的 0-1 分布、二项分布、泊松分布与连续随机变量的均匀分布、指数分布、高斯分布的模型、期望和方差相关内容汇总离散、连续两种类型随机变量的期望、方差计算公式及通用方差公式最后引入常数最优逼近理论通过构造均方误差代价函数求导推导得出关键结论在均方误差最小准则下采用确定性常数逼近随机变量的最优取值为该随机变量的均值对应的最小均方误差等于其方差。现代数字信号处理随机变量与概率论基础回顾在数字信号处理的相关研究与应用中概率论是进行算法分析的基础。以下是对随机变量核心概念及常见概率分布模型的系统性梳理一、 离散型随机变量及其典型分布1. 伯努利分布0-1分布概率质量函数 (PMF):P{Xk}{1−p,k0p,k1,(0p1)P\{Xk\}\begin{cases}1-p, k0 \\ p, k1\end{cases}, \quad (0p1)P{Xk}{1−p,p,k0k1,(0p1)数学期望:E(X)pE(X)pE(X)p方差:D(X)p(1−p)D(X)p(1-p)D(X)p(1−p)2. 二项分布概率质量函数 (PMF):P{Xk}Cnkpk(1−p)n−k,k0,1,2,…,nP\{X k\} C_n^k p^k (1-p)^{n-k}, \quad k 0, 1, 2, \dots, nP{Xk}Cnkpk(1−p)n−k,k0,1,2,…,n在此公式中组合数定义为Cnkn!k!(n−k)!C_n^k\frac{n!}{k!(n-k)!}Cnkk!(n−k)!n!。数学期望:E(X)npE(X)npE(X)np方差:D(X)np(1−p)D(X)np(1-p)D(X)np(1−p)3. 泊松分布概率质量函数 (PMF):P{Xk}λke−λk!,k0,1,2,…,(λ0)P\{Xk\}\frac{\lambda^k e^{-\lambda}}{k!}, \quad k0,1,2,\dots, \quad (\lambda0)P{Xk}k!λke−λ,k0,1,2,…,(λ0)数学期望:E(X)λE(X)\lambdaE(X)λ方差:D(X)λD(X)\lambdaD(X)λ二、 连续型随机变量及其典型分布1. 均匀分布概率密度函数 (PDF):f(x){1b−a,axb0,其他区域f(x)\begin{cases}\frac{1}{b-a}, axb \\ 0, \text{其他区域}\end{cases}f(x){b−a1,0,axb其他区域数学期望:E(X)ab2E(X)\frac{ab}{2}E(X)2ab方差:D(X)(b−a)212D(X)\frac{(b-a)^2}{12}D(X)12(b−a)22. 指数分布概率密度函数 (PDF):f(x){λe−λx,x≥00,x0f(x)\begin{cases}\lambda e^{-\lambda x}, x\ge0 \\ 0, x0\end{cases}f(x){λe−λx,0,x≥0x0数学期望:E(X)1λE(X)\frac{1}{\lambda}E(X)λ1方差:D(X)1λ2D(X)\frac{1}{\lambda^2}D(X)λ213. 正态分布高斯分布概率密度函数 (PDF):f(x)12πσexp(−(x−μ)22σ2),(−∞x∞)f(x) \frac{1}{\sqrt{2\pi}\sigma} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right), \quad (-\inftyx\infty)f(x)2πσ1exp(−2σ2(x−μ)2),(−∞x∞)数学期望:E(X)μE(X)\muE(X)μ方差:D(X)σ2D(X)\sigma^2D(X)σ2三、 期望与方差的一般计算法则1. 离散型变量期望求解:E(X)∑ixipiE(X)\sum_{i}x_i p_iE(X)∑ixipi方差求解:D(X)E[(X−E(X))2]∑i(xi−E(X))2piD(X)E[(X-E(X))^2]\sum_{i}(x_i-E(X))^2 p_iD(X)E[(X−E(X))2]∑i(xi−E(X))2pi2. 连续型变量期望求解:E(X)∫−∞∞xf(x)dxE(X)\int_{-\infty}^{\infty}xf(x)dxE(X)∫−∞∞xf(x)dx方差求解:D(X)E[(X−E(X))2]∫−∞∞(x−E(X))2f(x)dxD(X)E[(X-E(X))^2]\int_{-\infty}^{\infty}(x-E(X))^2 f(x)dxD(X)E[(X−E(X))2]∫−∞∞(x−E(X))2f(x)dx3. 方差恒等式无论离散或连续方差均满足以下通用展开式D(X)E(X2)−[E(X)]2D(X)E(X^2)-[E(X)]^2D(X)E(X2)−[E(X)]2四、 随机变量的常数最优逼近理论在信号处理估计理论中常需用一个确定的常数值ccc来近似表示某个随机变量XXX。为了评估这种近似的准确性我们通常引入均方误差Mean Squared Error, MSE作为代价函数其定义如下J(c)≜E[(X−c)2]J(c)\triangleq E[(X-c)^2]J(c)≜E[(X−c)2]我们的目标是找到一个最优常数c∗c^*c∗使得代价函数J(c)J(c)J(c)达到最小化。推导过程首先将代价函数内的平方项展开J(c)E[X2−2cXc2]J(c)E[X^2-2cXc^2]J(c)E[X2−2cXc2]J(c)E(X2)−2cE(X)c2J(c)E(X^2)-2cE(X)c^2J(c)E(X2)−2cE(X)c2随后对常数ccc求一阶导数并令其导数值为0以寻找极值点dJ(c)dc−2E(X)2c0\frac{dJ(c)}{dc}-2E(X)2c0dcdJ(c)−2E(X)2c0通过求解上述方程可直接得到最优常数解c∗E(X)c^*E(X)c∗E(X)最后将该最优解cE(X)cE(X)cE(X)代回原均方误差公式中即可求得最小逼近误差JminE[(X−E(X))2]D(X)σ2J_{min}E[(X-E(X))^2]D(X)\sigma^2JminE[(X−E(X))2]D(X)σ2核心结论在均方误差最小化准则下利用确定性常数去逼近随机变量时最优的逼近常数即为该随机变量的数学期望均值而此时系统所产生的最小估计误差恰好等于该随机变量的方差。