概率论总结(部分)

概率论的基本概念

随机试验

• 确定性现象
  在一定条件下必然发生的现象
• 随机现象
  在实验或观察前无法预知出现什么结果
• 统计规律性
  随机试验在一次实验或观察的结果具有不确定性，但是在大量重复实验或观察呈现出某种规律性，称为统计规律性

• 随机试验的特点

  1. 可在相同条件下重复进行
  2. 每次试验的结果可能不止一个，但能确定所有可能的结果
  3. 在一次试验之前无法确定具体是哪种结果出现

  在概率论中，将具有上述三个特点的试验称为随机试验，简称试验

样本空间、随机事件

样本空间

• 定义
  随机试验E的所有可能结果所组成的集合称为样本空间，记为S
  样本空间的元素，即E的每个结果，称为样本点

随机事件

• 定义
  试验E的样本空间S的子集为E的随机事件，简称事件
  在每次试验中，当且仅当这一子集的一个样本点出现时，称这一事件发生

• 基本事件
  由一个样本点组成的单点集，称为基本事件

事件关系的运算

• 研究规则
  事件间的关系和运算应该按照集合之间的关系和运算来规定

• 运算法则

  1. 包含
     若$A\subset B$，则称事件B包含事件A，这是指事件A的发生必然导致事件B发生
     若$A\subset B$且$B\subset A$，即$A=B$，则称事件A与事件B相等
  2. 和事件
     事件$A\cup B={ x|x\in A $或$x\in B}$称为事件A与事件B的和事件。当且仅当A,B中至少有一个发生时事件$A \cup B$发生
  3. 积事件
     事件$A\cap B={ x|x\in A $且$x\in B}$称为事件A与事件B的积事件。当且仅当A,B中同时发生时事件$A \cap B$发生，记作$AB$
  4. 差事件
     事件$A - B={ x|x\in A $且$x\notin B}$称为事件A与事件B的积事件。当且仅当A发生B不发生时事件$A - B$发生
  5. 互斥
     若$A\cap B=\phi$，则称事件A与事件B是互不相容的，或互斥的，这指的是事件A与事件B不能同时发生
     基本事件是两两互不相容的
  6. 逆事件
     若$A\cup B=S$且$A\cap B=\phi$，则称事件A与事件B互为逆事件，又称事件A与事件B互为对立事件，记为$\overline{A}, \overline{A}=S-A$
     按差事件和对立事件的定义，显然有$A-B=A\overline{B}$

• 运算律

  • 交换律 $$A\cup B=B\cup A \\ A\cap B=B\cap B$$
  • 结合律 $$A\cup (B\cup C)=(A\cup B)\cup C\\A\cap (B\cap C)=(A\cap B)\cap C$$
  • 分配律 $$A\cup (B\cap C)=(A\cup B)\cap (A\cup C)\\A\cap (B\cup C)=(A\cap B)\cup (A\cap C)$$

频率与概率

频率

• 定义
  在相同条件下，进行了n次试验，在这n次试验中，事件A发生的次数$n_A$称为事件A发生的频数，记作$f_n(A)$

• 性质

  1. $0 \leq f_n(A)\leq 1$
  2. $f_n(S)=1$
  3. 若$A_1, A_2,\dotsc,A_k$是两两互不相容事件，即对于$i\neq j$，$A_iA_j=\phi$，$i,j=1,2,\dotsc,k$，则 $$f_n(A_1\cup A_2 \cup\dotsc\cup A_k)=f_n(A_1)+f_n(A_2)+\dotsm+f_n(A_k)$$

概率

• 统计定义
  在相同条件下，重复进行n次试验，若事件A发生的频率$f_n(A)$随着试验次数n的增大而稳定在某个常数$p(0\leq p\leq 1)$附近摆动，则称p为事件A发生的概率，记为$p(A)$

• 定义
  设E为随机试验，S是它的样本空间，对于E的每一事件A赋予一个实数，记为$P(A)$，称为事件A的概率，如果集合函数$P(\cdot)$曼珠下列条件：

  1. 非负性：对于每一个事件A，有$P(A)>0$
  2. 规范性：对于必然事件S，有$P(S)=1$
  3. 可列可加性：若$A_1, A_2,\dotsc,A_k$是两两互不相容事件，即对于$i\neq j$，$A_iA_j=\phi$，$i,j=1,2,\dotsc,k$，则 $$P(A_1\cup A_2 \cup\dotsc\cup A_k)=P(A_1)+P(A_2)+\dotsm+P(A_k)$$

• 性质

  • 性质1 $$P(\phi)=0$$
  • 性质2(有限可加性)
    若$A_1, A_2,\dotsc,A_n$是两两互不相容事件，则 $$P(A_1\cup A_2 \cup\dotsc\cup A_n)=P(A_1)+P(A_2)+\dotsm+P(A_n)$$
  • 性质3
    设A，B是两个事件，若$A\subset B$，则有 $$P(B-A)=P(B)-P(A)~~~~P(A)\leq P(B)$$
  • 性质4
    对于任一事件A，有
    $$P(A)\leq 1$
  • 性质5(逆事件概率)
    对于任一事件A，有 $$P(\overline{A})=1-P(A)$$
  • 性质6(加法公式)
    对于任意两事件A，B有 $$P(A\cup B)=P(A)+P(B)-P(AB)$$

等可能概型(古典概型)

• 定义
  具有以下两个特点的试验称为等可能概型，也称为古典概型

  1. 试验的样本空间只包含有限个元素
  2. 试验中每个基本事件发生的可能性相同

• 性质

  • 设试验的样本空间$S={e_1,e_2,\dotsm,e_n}$，则 $$P(\{e_i\})=\frac{1}{n},~~i=1,2,3,\dotsm,n$$
  • 若样本空间S包含n个基本事件，事件A包含k个基本事件，则 $$P(A)=\frac{k}{n}=\frac{A包含的基本事件数}{S中基本事件的总数}=\frac{\#A}{\#S}$$

• 实际推断原理
  概率很小的事件在一次试验中实际上几乎是不发生的，称为实际推断原理

条件概率

• 定义
  一般地，设A、B是S中的两个事件，若$P(A)>0$，则

  $$P(B|A)=\frac{P(AB)}{P(A)}$$

  称为在事件A发生的条件下事件B发生的条件概率

• 性质
  条件概率$P(\cdot|A)$符合概率定义中的三个条件

  • 非负性：对任一事件B，有$P(B|A)\geq 0$
  • 规范性：对于样本空间S，有$P(S|A)=1$
  • 可列可加性：设$B_1,B_2\dotsm$是两两互斥事件，则 $$P(\bigcup_{i=1}^{\infty}B_i|A)=\sum_{i=1}^{\infty}P(B_i|A)$$

• 乘法定理

  • 设$P(A)>0$，则有 $$P(AB)=P(A)P(B|A)$$
  • 设$P(AB)>0$，推广 $$P(ABC)=P(A)P(B|A)P(C|AB)$$
  • 一般地，设$A1,A_2,\dotsm,A_n$为n个事件，$n\geq 2$，且$P(A_1A_2\dotsm A{n-1})>0$，则有 $$P(A_1A_2\dotsm A_n)=P(A_1)P(A_2|A_1)\dotsm P(A_{n-1}|A_1A_2\dotsm A_{n-2})P(A_{n}|A_1A_2\dotsm A_{n-1})$$

• 划分
  设S为试验E的样本空间，$B_1,B_2,\dotsm B_n$为E的一组事件，若

  1. $B_iB_j=\phi, i\neq j,~~i,j=1,2,\dotsm,n$
  2. $B_1\cup B_2\cup\dotsm\cup B_n=S$
     则称$B_1,B_2,\dotsm B_n$为样本空间的一个划分

• 全概率公式
  设试验E的样本空间为S，A为E的事件，$B_1,B_2,\dotsm B_n$为S的一个划分，且$P(B_i)>0~(i=1,2,\dotsm,n)$，则全概率公式为

  $$P(A)=P(A|B_1)P(B_1)+\dotsm +P(A|B_n)P(B_n)=\sum_{i=1}^{n}P(A|B_i)P(B_i)$$

• 贝叶斯公式
  设试验E的样本空间为S，A为E的事件，$B_1,B_2,\dotsm B_n$为S的一个划分，且$P(B_i)>0~(i=1,2,\dotsm,n)$，则贝叶斯公式为

  $$P(B_i|A)=\frac{P(A|B_i)P(B_i)}{\sum_{j=1}^{n}P(A|B_j)P(B_j)},~~i=1,2,\dotsm,n$$

• 总结

  • 条件概率是求事件A发生条件下事件B发生的概率
  • 乘法公式是求“几个事件同时发生”的概率
  • 全概率公式是求“最后结果”的概率
  • 贝叶斯公式是已知“最后结果”，求“原因”的概率

独立性

• 定义
  设A，B是两个事件，如果满足等式
  $P(AB)=P(A)P(B)$ 则称事件A、B相互独立，简称A、B独立

• 相互独立与互不相容的区分

  • A、B相互独立 $\Longrightarrow P(AB)=P(A)P(B)$
  • A、B互不相容 $\Longrightarrow AB=\phi \Longrightarrow P(AB)=0$
    若$P(A)>0，P(B)>0$则A、B相互独立与A、B互不相容不能同时成立

• 定理一
  设A、B是两事件，且$P(A)>0$，若A、B相互独立，则$P(B|A)=P(B)$反之亦然

• 定理二
  设A、B是两事件，若A、B相互独立，则$A与\overline{B}，\overline{A}与B，\overline{A}与\overline{B}$都相互独立

• 多事件相互独立
  一般地，设$A_1,A_2,\dotsm,A_n (n\geq2)$个事件，如果对其中任意2个，3个，$\dotsm$，n个事件的积事件概率，都等于各事件概率之积，则称事件$A_1,A_2,\dotsm,A_n$相互独立

• 推论
  若事件$A_1,A_2,\dotsm,A_n (n\geq2)$相互独立

  1. 其中任意$k(2\leq k\leq n)$个事件也是相互独立的
  2. 则将$A_1,A_2,\dotsm,A_n$中任意多个换成它们的对立事件，所得的n个事件仍然相互独立

随机变量及其分布

随机变量

• 定义
  设$X=X(e)$是定义在样本空间S上的单值实值函数，称$X=X(e)$为随机变量
  随机变量通常用大写字母$X,Y,Z,W\dotsm$等表示

一般地，若L是一个实数集合，将X在L上取值写成${X\in L}$，它表示事件$A={e|X(e)\in L}$，即A是由S中使得$X(e)\in L$的所有样本点e所组成的事件，此时有

$$P\{X\in L\}=P(A)=P\{e|X(e)\in L\}$$

离散型随机变量及其分布律

• 离散型随机变量的定义
  随机变量的全部可能取值是有限个或者可列无限个，这种随机变量称为离散型随机变量

• 分布律
  设$X$所有可能取的值为$x_k(k=1,2,\dotsm)$，而
  $P\{X=x_k\}=p_k,~~k=1,2,\dotsm$ $p_k$满足如下两个条件

  1. $p_k\geq 0, ~k=1,2,\dotsm$
  2. $\sum_{k=1}^{\infty}p_k=1$

  分布律也可以用表格表示

  $X$|$x_1$|$x_2$|$\dotsm$|$x_n$|$\dotsm$
  :-:|:-:|:-:|:-:|:-:|:-:
  $p_k$|$p_1$|$p_2$|$\dotsm$|$p_n$|$\dotsm$

(0-1)分布

设随机变量$X$只可能取0与1两个值，则称$X$服从$(0-1)$分布或两点分布，它的分布律是

$$P\{X=k\}=p^k(1-p)^{1-k}~~~k=0,1~~~(0<p<1)$$

$X$	$x_1$	$x_2$
$p_k$	$1-p$	$p$

二项分布

• 伯努利试验
  设试验$E$只有两个可能结果：$A$及$\overline{A}$，则称$E$为伯努利试验
  设$P(A)=p~~~(0<p<1)$，此时$P(\overline{A})=1-p$
  将$E$独立地重复进行n次试验，则称这一串重复的独立试验为n重伯努利试验

n重伯努利试验即为二项分布

• 二项分布
  设随机变量$X$服从参数为$n,p$的二项分布，记作$X\sim B(n,p)$则 $$P\{X=k\}=C_n^kp^k(1-p)^{n-k}, ~~k=0,1,2,\dotsm,n$$

泊松分布

设随机变量$X$所有可能的值为$0,1,2,\dotsm$，而取各个值的概率为

$$P\{X=k\}=\frac{\lambda^ke^{-\lambda}}{k!}, ~~k=0,1,2,\dotsm$$

其中$\lambda>0$是常数，则称$X$服从参数为$\lambda$的泊松分布，记为$X\sim \pi(\lambda)$

总结

• 二项分布$\xrightarrow{n=1}$两点分布
• 二项分布$\xrightarrow{np\rightarrow\lambda(n\rightarrow\infty)}$泊松分布
• 二项分布$\xrightarrow{n\rightarrow\infty}$正态分布
• 二项分布中，当n很大，p很小时，可近似为 $$C_n^kp^k(1-p)^{n-k}=\frac{\lambda^ke^{-\lambda}}{k!}~~(\lambda=np)$$

随机变量的分布函数

• 定义
  设$X$是一个随机变量，$x$是任意实数，函数$F(x)=P{X\leq x}$称为$X$的分布函数

• 基本性质

  1. $F(x)$是一个不减函数
  2. $0\leq F(x)\leq 1$，且 $$F(-\infty)=\lim_{x\rightarrow-\infty}F(x)=0$$ $$F(\infty)=\lim_{x\rightarrow\infty}F(x)=1$$
  3. $F(x+0)=F(x)$，即$F(x)$是右连续的

一般地，设离散型随机变量$X$的分布律为

$$P\{X=x_k\}=p_k,~~k=1,2,\dotsm$$ 则$X$的分布函数为 $$F(x)=P\{X\leq x\}=\sum_{x\leq x}P\{X=x_k\}=\sum_{x\leq x}p_k$$

分布函数$F(x)$在$x=x_k(k=1,2,\dotsm)$处有跳跃，其跳越值为$p_k=P{X=x_k}$

连续型随机变量及其概率密度

• 定义
  如果对于随机变量$X$的分布函数$F(x)$，存在非负可积函数$f(x)$，使对于任意实数$x$有$F(x)=\int_{-\infty}^{x}f(t)dt$则称$X$为连续型随机变量，其中函数$f(x)$称为$X$的概率密度函数，简称概率密度

• 性质

  1. $f(x)\geq 0$
  2. $\int_{+\infty}^{-\infty}f(x)dx=1$
  3. 任意实数$x_1,x_2,(x_1\leq x_2)$，则 $$P\{x_1<X\leq x_2\}=F(x_2)-F(x_1)=\int_{x_1}^{x_2}f(x)dx$$
  4. 若$f(x)$在点$x$连续，则有$F’(x)=f(x)$
  5. 对于任意可能值$a$，连续型随机变量取$a$的值为0，$P{X=a}=0$
  6. 连续型随机变量取值落在某一区间的概率与区间的开闭无关 $$P\{x_1<X< x_2\}=P\{x_1<X\leq x_2\}=P\{x_1\leq X< x_2\}$$

均匀分布

设连续型随机变量$X$具有概率密度

$$f(x)=\left\{ \begin{aligned} \frac{1}{b-a}& & a<x<b\\ 0 & & 其他 \end{aligned} \right.$$

则称$X$在区间$(a,b)$上服从均匀分布，记为$X\sim U(a,b)$

其分布函数为

$$F(x)=\left\{ \begin{aligned} 0 & & x<a\\ \frac{1}{b-a}& & a\leq x<b\\ 1 & & x\geq b \end{aligned} \right.$$

指数分布

设连续型随机变量$X$具有概率密度

$$f(x)=\left\{ \begin{aligned} \frac{1}{\theta}e^{-x/\theta}& & x>0\\ 0 & & 其他 \end{aligned} \right.$$

其中$\theta>0$为常数，则称$X$服从参数为$\theta$的指数分布

$X$的分布函数为

$$f(x)=\left\{ \begin{aligned} 1-e^{-x/\theta}& & x>0\\ 0 & & 其他 \end{aligned} \right.$$

• $X$服从指数分布，则任给$x,t>0$，有
  $P\{X>s+t|X>s\}=P\{X>t\}$ 该性质称为无记忆性

正态分布

设连续型随机变量$X$具有概率密度

$$f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}, -\infty<x<+\infty$$

其中$\mu, \sigma(\sigma>0)$为常数，则称$X$服从参数为$\mu,\sigma$的正态分布或高斯分布，记为$X\sim N(\mu, \sigma^2)$

$X$的分布函数为

$$f(x)=\frac{1}{\sqrt{2\pi}\sigma}\int_{-\infty}^xe^{-\frac{(t-\mu)^2}{2\sigma^2}}dt, -\infty<x<+\infty$$

• 性质

  • 曲线关于$x=\mu$对称
  • 当$x=\mu$时取到最大值
  • $x$离$\mu$越远，$f(x)$的值越小
  • 在$x=\mu\pm\sigma$处曲线有拐点
  • 曲线以$Ox$轴为渐近线

• 标准正态分布
  特别地，称$N\sim(0,1)$为标准正态分布，其概率密度函数和分布函数常分别用$\varphi(x)$和$\varPhi(x)$表示

  $$\varphi(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}$$ $$\varPhi(x)=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^xe^{-\frac{t^2}{2}}dt$$

  任何一个一般的正态分布都可以转化为标准正态分布，即

  $$X\sim N(\mu,\sigma^2),Y=\frac{X-\mu}{\sigma}\sim N(0,1)$$

  若$X\sim N(0,1)$，则

  • $\varPhi(-x)=1-\varPhi(x)$
  • $P{a<X<b}=\varPhi(b)-\varPhi(a)$

• 上$\alpha$分位点
  设$X\sim N(0,1)$，若$z_\alpha$满足条件

  $$P\{X>z_\alpha\}=\alpha, 0<\alpha<1$$

  则称点$z\alpha$为标准正态分布的上$\alpha$分位点，可知$z{1-\alpha}=-z_\alpha$
  

  image

随机变量的函数的分布

• 定义
  已知随机变量$X,Y$，$X$的分布律(概率密度)已知，$Y=g(X)$，$g$为连续函数，则随机变量$Y$的分布就称为随机变量$X$的函数的分布

• 离散型
  若随机变量$X$为离散型，则直接代入计算$Y$的分布律，若有值相同的，合并即可

• 连续型
  设随机变量$X$具有概率密度$f_X(x)$，其中$-\infty<x<+\infty$，设函数$g(x)$处处可导，且恒有$g’(x)>0$(或恒有$g’(x)<0$)，则$Y=g(X)$也是连续型随机变量，其概率密度为

  $$f_Y(y)=\left\{ \begin{aligned} f_X[h(y)]|h'(y)|& & \alpha<y<\beta\\ 0 & & 其他 \end{aligned} \right.$$

  其中$\alpha=min(g(-\infty), g(+\infty)),\beta=max(g(-\infty), g(+\infty)),h(y)$是$g(x)$的反函数

多维随机变量及其分布

二维随机变量

• 定义
  设$E$是一个随机试验，其样本空间为$S={e}$，设$X=X(e)$和$Y=Y(e)$是定义在$S$上的随机变量，由它们构成的一个向量$(X,Y)$，叫做二维随机向量或二维随机变量

• 联合分布函数
  设$(X,Y)$是二维随机变量，对于任意实数$x,y$，二元函数：$F(x,y)=P\{(X\leq x)\cap(Y\leq y)\}=P\{X\leq x, Y\leq y\}$ 称为二维随机变量$(X,Y)$的分布函数，或称为随机变量$X$和$Y$的联合分布函数
  

  image

• 分布函数的性质

  1. $F(x,y)$是变量$x,y$的不减函数
  2. $0\leq F(x,y)\leq 1$
  3. $F(x,y)=F(x+0,y),F(x,y)=F(x,y+0)$

二维离散型随机变量

• 定义
  若二维随机变量$(X,Y)$全部可能取到的值的有限对或者可列无限多对，则称$(X,Y)$为二维离散型随机变量

• 分布律
  设二维随机变量$(X,Y)$所有可能取的值为$(X_i,y_i),~i,j=1,2,\dotsm$，记

  $$P\{X=x_i,Y=y_i\}=p_{ij},~~i,j=1,2,\dotsm$$

  称上式为二维离散型随机变量$(X,Y)$的分布律，或随机变量$X$和$Y$的联合分布律，其中

  $$p_{ij}\geq 0,~\sum_{i=1}^{\infty}\sum_{j=1}^{\infty}p_{ij}=1$$

• 分布函数
  二维离散型随机变量的$(X,Y)$的分布函数为
  $F(x,y)=\sum_{x_i\leq x}\sum_{y_j\leq y}p_{ij}$ 上式是对一切满足$x_i\leq x,y_i\leq y$的$i,j$求和

二维连续型随机变量

• 定义
  对于二维随机变量$(X,Y)$的分布函数$F(x,y)$，如果存在非负可积的函数$f(x,y)$使对于任意$x,y$有

  $$F(x,y)=\int_{-\infty}^{y}\int_{-\infty}^{x}f(u,v)dudv$$

  则称$(X,Y)$是二维连续型随机变量，函数$f(x,y)$称为二维随机变量$(X,Y)$的概率密度，或称为随机变量$X$和$Y$的联合概率密度

• 性质

  1. $f(x,y)\geq 0$
  2. $\int{-\infty}^{+\infty}\int{-\infty}^{+\infty}f(x,y)dxdy=F(\infty,\infty)=1$
  3. 设$G$是$xOy$平面上的一个区域，点$(X,Y)$落在$G$内的概率为 $$P\{(X,Y)\in G\}=\iint_{G}f(x,y)dxdy$$
  4. 若$f(x,y)$在$(x,y)$连续，则有$\frac{\partial^2F(x,y)}{\partial x \partial y}=f(x,y)$

边缘分布

边缘分布函数

二维随机变量$(X,Y)$作为一个整体，具有分布函数$F(x,y)$，而$X$和$Y$都是随机变量，也有各自的分布函数，分别记为$F_X(x),F_Y(y)$，依次称为二维随机变量$(X,Y)$关于$x,y$的边缘分布函数

$$F_X(x)=P\{X\leq x\}=P\{X\leq x, Y<+\infty\}=F(x,+\infty)\\F_Y(y)=P\{Y\leq y\}=P\{X< +\infty, Y\leq y\}=F(+\infty,y)$$

离散型随机变量的边缘分布

设二维离散型随机变量$(X,Y)$的联合分布律为

$$P{X=x_i,Y=y_i}=p_{ij},~~i,j=1,2,\dotsm$$

记

$$p_{i\cdot}=\sum_{j=1}^{\infty}p_{ij}=P\{X=x_i\},~~i=1,2,\dotsm\\p_{\cdot j}=\sum_{i=1}^{\infty}p_{ij}=P\{Y=y_i\},~~i=1,2,\dotsm$$

分别称$p{i\cdot}$和$p{\cdot j}$为$(X,Y)$关于$X$和关于$Y$的边缘分布律

连续型随机变量的边缘分布

对于连续性随机变量$(X,Y)$，设它的概率密度为$f(x,y)$，则$X,Y$的边缘分布和边缘概率密度为

$$F_Y(y)=F(\infty,y)=\int_{-\infty}^y[\int_{+\infty}^{-\infty}f(x,y)dx]dy\\ f_Y(y)=\int_{+\infty}^{-\infty}f(x,y)dx$$ $$F_X(x)=F(x,\infty)=\int_{-\infty}^x[\int_{+\infty}^{-\infty}f(x,y)dy]dx\\ f_X(x)=\int_{+\infty}^{-\infty}f(x,y)dy$$

• 均匀分布
  设$G$是平面上的有界区域，其面积为$A$，若二维随机变量$(X,Y)$具有概率密度 $$f(x,y)=\left\{ \begin{aligned} \frac 1A& & (x,y)\in G\\ 0 & & 其他 \end{aligned} \right.$$ 则称$(X,Y)$在$G$上服从均匀分布
• 正态分布
  太长了。。。就不写了

条件分布

设有两个随机变量$X,Y$，在$Y$取某个值或某些值的情况下，$X$的概率分布即为条件概率

二维离散型随机变量的条件分布

设$(X,Y)$是二维离散型随机变量，对于固定的$j$，若$P{Y=y_i}>0$，则称

$$P\{X=x_i|Y=y_i\}=\frac{P\{X=x_i,Y=y_i\}}{P\{Y=y_i\}}=\frac{p_{ij}}{p{\cdot j}}$$

为在$Y=y_i,i=1,2,\dotsm$条件下随机变量$X$的条件分布律 同理，在$X=x_i,i=1,2,\dotsm$条件下随机变量$Y$的条件分布律为

$$P\{Y=y_i|X=x_i\}=\frac{P\{X=x_i,Y=y_i\}}{P\{X=x_i\}}=\frac{p_{ij}}{p{i\cdot}}$$

二维连续型随机变量的条件分布

设二维随机变量$(X,Y)$的概率密度为$f(x,y),~(X,Y)$关于$Y$的边缘概率密度为$f_Y(y)$，若对于固定的$y$，$f_Y(y)>0$，则$Y=y$的条件下$X$的条件概率密度为

$$f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}$$

条件分布函数为

$$P\{X\leq x|Y=y\}=F_{X|Y}(x|y)=\int_{-\infty}^xf_{X|Y}(x|y)dx$$

同理，在$X=x$的条件下$Y$的条件概率密度为

$$f_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)}$$

条件分布函数为

$$P\{Y\leq y|X=x\}=F_{Y|X}(y|x)=\int_{-\infty}^yf_{Y|X}(y|x)dy$$

相互独立的随机变量

• 定义
  设$F(x,y)$及$F_X(x),F_Y(y)$分别是二维随机变量$(X,Y)$的分布函数及边缘分布还是。若对于所有的$x,y$有$P\{X\leq x,Y\leq y\}=P\{X\leq x\}\{Y\leq y\}$
  即$F(x,y)=F_X(x)F_Y(y)$
  则称随机变量$X,Y$是相互独立的。

• 离散型随机变量
  若离散型随机变量$X$和$Y$的联合分布律为

  $$P\{X=x_i, Y=y_j\}=p_{ij}, i,j=1,2,\dotsm$$

  $X$和$Y$相互独立$\Leftrightarrow P{X=xi, Y=y_j}=P{X=x_i}{Y=y_j}\Leftrightarrow p{ij}=p{i\cdot}p{\cdot j}$

• 连续型随机变量
  设$(X,Y)$是二维连续型随机变量，具有概率密度为$f(x,y)$，边缘概率密度分别为$f_X(x),f_Y(y)$。
  $X$和$Y$相互独立$\Leftrightarrow f(x,y)=f_X(x)f_Y(y)$

两个随机变量的函数的分布

• $Z=X+Y$的分布
  设$(X,Y)$是二维连续型随机变量，具有概率密度为$f(x,y)$，则$Z=X+Y$的概率密度为

  $$f_Z(z)=F_Z'(z)=\int_{-\infty}^{+\infty}f(z-y,y)dy=\int_{-\infty}^{+\infty}f(x,z-x)dy$$

  若$X$和$Y$独立，设$(X,Y)$关于$X,Y$的边缘概率密度为$f_X(x),f_Y(y)$，则

  $$f_Z(z)=\int_{-\infty}^{+\infty}f_X(z-y)f_Y(y)dy=\int_{-\infty}^{+\infty}f_X(x)f_Y(z-x)dy$$

  上式称为卷积公式

  若$X_i\sim N(\mu_i, \sigma_i^2), i=1,2,\dotsm$，则

  $$\sum_{i=1}^{n}X_i=Z\sim N(\sum_{i=1}^{n}\mu_i,\sum_{i=1}^{n}\sigma^2_i)$$

• $M=max(X,Y)$和$N=min(X,Y)$的分布
  设$X$和$Y$是两个相互独立的随机变量，它们的分布函数分别为$F_X(x)$和$F_Y(y)$，则$M=max(X,Y)$和$N=min(X,Y)$的分布函数为

  $$F_M(z)=F_X(z)F_Y(z)\\F_N(z)=1-[1-F_X(z)][1-F_Y(z)]$$

随机变量的数字特征

数学期望

离散型随机变量的数学期望

设$X$是离散型随机变量，它的分布律为

$$P\{X=x_k\}=p_k,~k=1,2,\dotsm$$

若级数$\sum{k=1}^\infty x_kp_k$绝对收敛，则级数$\sum{k=1}^\infty x_kp_k$的和为随机变量$X$的数学期望，简称期望，又称为均值

$$E(X)=\sum_{k=1}^\infty x_kp_k$$

连续型随机变量的数学期望

设$X$是连续型随机变量，其概率密度函数为$f(x)$，如果积分

$$\int_{-\infty}^{+\infty} xf(x)dx$$

绝对收敛，则称此积分值为$X$的数学期望，即

$$E(X)=\int_{-\infty}^{+\infty} xf(x)dx$$

随机变量的函数的数学期望

设$Y$是随机变量$X$的函数：$Y=g(X)$($g$是连续函数)

• 当$X$为连续型时，它的分布律为$P{X=xk}=p_k,~(k=1,2,\dotsm)$，若$\sum{k=1}^\infty g(x_k)p_k$绝对收敛，则有

  $$E(Y)=E[g(X)]=\sum_{k=1}^\infty g(x_k)p_k$$

• 当$X$为连续型时，它的概率密度为$f(x)$，若$\int_{-\infty}^{+\infty} g(x)f(x)dx$绝对收敛，则有

  $$E(Y)=E[g(X)]=\int_{-\infty}^{+\infty} g(x)f(x)dx$$

数学期望的性质

1. 设$C$为常数，则$E(C)=C$
2. 设$k$为常数，则$E(kX)=kE(X)$
3. $E(X+Y)=E(X)+E(Y)$
4. 设$X$和$Y$相互独立，则$E(XY)=E(X)E(Y)$

方差

定义

设$X$是一个随机变量，若$E([X-E(X)]^2)$存在，称$E([X-E(X)]^2)$为$X$的方差。记为$D(X)$或$Var(X)$，即

$$D(X)=Var(X)=E([X-E(X)]^2)$$

方差的算术平方根$\sqrt{D(X)}$称为$X$的标准差或均方差，记为$\sigma(X)$

计算

由定义知，方差是随机变量$X$的函数$g(X)=[X-E(X)]^2$的数学期望

• 离散型
  若$X$是离散型随机变量，它的分布律为$P{X=x_k}=p_k,~k=1,2,\dotsm$，则

  $$D(X)=\sum_{k=1}^\infty [x_k-E(X)]^2p_k$$

• 连续型
  若$X$为连续型时，它的概率密度为$f(x)$，则

  $$D(X)=\int_{-\infty}^{+\infty} [x-E(X)]^2f(x)dx=E(X^2)-E(X)^2$$

性质

1. 设$C$为常数，则$D(C)=0, D(X+C)=D(X)$
2. 设$k$为常数，则$D(kX)=k^2D(X)$
3. $D(X+Y)=D(X)+D(Y)+2E([X-E(X)][Y-E(Y)])$
4. $D(X)=0 \Leftrightarrow P{X=C}=1$，这里$C=E(X)$
5. 设$X$和$Y$相互独立，则$D(X+Y)=D(X)+D(Y)$

分布	参数	数学期望	方差
两点分布	$0<p<1$	$p$	$p(1-p)$
二项分布	$n\geq 1,0<p<1$	$np$	$np(1-p)$
泊松分布	$\lambda>0$	$\lambda$	$\lambda$
均匀分布	$a<b$	$(a+b)/2$	$(b-a)^2/12$
指数分布	$\theta>0$	$\theta$	$\theta^2$
正态分布	$\mu, \sigma>0$	$\mu$	$\sigma^2$

切比雪夫不等式

设随机变量$X$具有数学期望$E(X)=\mu$，方差$D(X)=\sigma^2$，则对于任意正数$\varepsilon$，有不等式

$$P\{|X-E(X)|\geq \varepsilon\}\leq \frac{\sigma^2}{\varepsilon^2}\\ P\{|X-E(X)|\leq \varepsilon\}\geq 1-\frac{\sigma^2}{\varepsilon^2}$$

由切比雪夫不等式可以看出，若$\sigma^2$越小，则事件${|X-E(X)|\geq \varepsilon}$的概率越大

协方差及相关系数

协方差

• 定义
  $E([X-E(X)][Y-E(Y)])$称为随机变量$X$和随机变量$Y$的协方差，记为$Cov(X,Y)$，即

  $$Cov(X,Y)=E([X-E(X)][Y-E(Y)])=E(XY)-E(X)E(Y)$$

• 性质

  1. $Cov(X,Y)=Cov(Y,X)$
  2. $Cov(aX,bY)=ab~Cov(X,Y)$，$a,b$为常数
  3. $Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$
  4. 若$X$与$Y$相互独立，$Cov(X,Y)=0$
  5. $Cov(X,X)=E(X^2)-E(X)^2=D(X)$

相关系数

• 定义
  设$D(X)>0,D(Y)>0$，称

  $$\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)D(Y)}}$$

  为随机变量$X$和$Y$的相关系数，在不混淆的情况下，记$\rho_{XY}$为$\rho$

• 性质

  1. $|\rho|\leq 1$
  2. $X$和$Y$相互独立时，$\rho=0$，但其逆不真
  3. $|\rho|=1\Leftrightarrow X,Y$线性相关

矩、协方差矩阵

原点矩、中心矩

设$X$和$Y$是随机变量，若

$$E(X^k),k=1,2,\dotsm$$

存在，称它为$X$的$k$阶原点矩，简称$k$阶矩
若

$$E([X-E(X)]^k),k=2,3,\dotsm$$

存在，称它为$X$的$k$阶中心距
可见，均值$E(X)$是$X$的$k$阶中心矩，方差$D(X)$是$X$的二阶中心矩

协方差矩阵(不考)

大数定律及中心极限定理

大数定律

• 背景
  大量随机试验中，事件发生的频率稳定于某一常数，测量值的算术平均值具有稳定性
• 概念
  概率论中用来阐明大量随机现象平均结果的稳定性的一系列定理，称为大数定律

依概率收敛

• 定义
  设$Y_1,Y_2,\dotsm,Y_n\dotsm$是一个随机变量序列，$a$是一个常数。若对于任意正数$\varepsilon$，有

  $$\lim_{n\rightarrow\infty}P\{|Y_n-a|<\varepsilon\}=1$$

  则称序列$Y_1,Y_2,\dotsm,Y_n\dotsm$依概率收敛于$a$，记为

  $$Y_n\xrightarrow{P}a$$

• 性质
  设$X_n\xrightarrow{P}a,Y_n\xrightarrow{P}b$，设函数$g(x,y)$在点$(a,b)$连续，则

  $$g(X_n,Y_n)\xrightarrow{P}g(a,b)$$

总结

设随机变量$X_1,X_2,\dotsm,X_n,\dotsm$相互独立

大数定律	表达式	条件
伯努利大数定律	$\lim_{n\rightarrow\infty}P\{abs(\frac{n_A}{n}-p)<\varepsilon\}=1$	$n_A\sim b(n,p)$
切比雪夫大数定律	$\lim_{n\rightarrow\infty}P\{abs(\frac{1}{n}\sum_{i=1}^{n}X_i-\mu)<\varepsilon\}=1$	$E(X_k)=\mu,D(X_k)=\sigma^2$
辛钦大数定律	$\lim_{n\rightarrow\infty}P\{abs(\frac{1}{n}\sum_{i=1}^{n}X_i-\mu)<\varepsilon\}=1$	$E(X_k)=\mu$

$abs()$代表绝对值

中心极限定理

• 独立同分布下的中心极限定理
  设随机变量$X1,X_2,\dotsm,X_n,\dotsm$相互独立，服从同一分布，具有数学期望和方差：$E(X_k)=\mu,D(X_k)=\sigma^2,(k=1,2,\dotsm)$，则随机变量之和$\sum{k=1}^n X_k$的标准化变量的分布函数为$F_n(x)$对于任意$x$满足

  $$\lim_{n\rightarrow\infty}F_n(x)=\lim_{n\rightarrow\infty}P\{\frac{\sum_{i=1}^n X_i-n\mu}{\sigma\sqrt{n}}\leq x\}=\int_{-\infty}^x \frac{1}{\sqrt{2\pi}}e^{-\frac{t^2}{2}}dt=\varPhi(x)$$

• 李雅普诺夫定理
  设随机变量$X1,X_2,\dotsm,X_n,\dotsm$相互独立，服从同一分布，具有数学期望和方差：$E(X_k)=\mu_k,D(X_k)=\sigma^2_k,(k=1,2,\dotsm)$，记$B_n^2=\sum{k=1}^n\sigmak^2$，则随机变量之和$\sum{k=1}^n X_k$的标准化变量的分布函数为$F_n(x)$对于任意$x$满足

  $$\lim_{n\rightarrow\infty}F_n(x)=\lim_{n\rightarrow\infty}P\{\frac{\sum_{i=1}^n X_i-\sum_{k=1}^n\mu_k}{B_n}\leq x\}=\int_{-\infty}^x \frac{1}{\sqrt{2\pi}}e^{-\frac{t^2}{2}}dt=\varPhi(x)$$

• 棣莫弗-拉普拉斯定理
  设随机变量$\eta_n(n=1,2,\dotsm)$服从参数$n,p(0<p<1)$的二项分布，对于任意$x$有

  $$\lim_{n\rightarrow\infty}P\{\frac{\eta_n-np}{\sqrt{np(1-p)}}\leq x\}=\int_{-\infty}^x \frac{1}{\sqrt{2\pi}}e^{-\frac{t^2}{2}}dt=\varPhi(x)$$

  定理表明，当$n$很大，$0<p<1$是一个定值时，二项分布的随机变量的$\eta_n$分布近似正态分布$N(np,np(1-p))$.

样本及抽样分布

随机样本

总体与个体

• 研究对象的全体称为总体
• 总体中每个成员称为个体
• 总体中所包含的个体的个数称为总体的容量

样本

• 总体中抽出若干个体而成的的集体，称为样本
• 样本所含个体的个数，称为样本容量

抽样分布