样本与样本值

很多ML或PR的刊物中不区分这个概念。区分：严谨但繁琐，不区分：不严谨，有时候产生混淆。

---

定义 设$X$是具有分布函数$F$的随机变量，若$X_1,X_2,\cdots ,X_n$是具有同一分布函数$F$的、相互独立的随机变量，则称$X_1,X_2,\cdots ,X_n$为从分布函数$F$（或总体$F$、或总体$X$）得到的容量为$n$的简单随机样本，简称样本，它们的观察值$x_1,x_2,\cdots ,x_n$称为样本值，又称为$X$的$n$个独立的观察值。

也可以将样本看成是一个随机向量，写成$(X_1,X_2,\cdots ,X_n)$，此时样本值相应地写成$(x_1,x_2,\cdots ,x_n)$。若$(x_1,x_2,\cdots ,x_n)$与$(y_1,y_2,\cdots ,y_n)$都是相应于样本$(X_1,X_2,\cdots ,X_n)$的样本值，一般来说它们是不相同的。

由定义得：若$X_1,X_2,\cdots ,X_n$为$F$的一个样本，则$X_1,X_2,\cdots ,X_n$相互独立，且它们的分布函数都是$F$，所以$(X_1,X_2,\cdots ,X_n)$的分布函数为
$$F^{\ast }(x_1,x_2,\cdots ,x_n)=\prod _{i=1}^{n}F(x_i).$$又若$X$具有概率密度$f$，则$(X_1,X_2,\cdots ,X_n)$的概率密度为
$$f^{\ast }(x_1,x_2,\cdots ,x_n)=\prod _{i=1}^{n}f(x_i).$$

---

1. 简单随机样本（Simple Random Sample）
   -$X_1,X_2,\dots ,X_n$是同分布、相互独立的随机变量；

   • 每个$X_i\sim F$，即来自同一个总体$F$；
   • 观察值$x_1,x_2,\dots ,x_n$称为样本值。

2. 联合分布函数

   • 因为各分量独立，联合分布函数为边缘分布函数的乘积：
     $$F^{\ast }(\mathbf{x})=\prod _{i=1}^{n}F(x_i)$$

3. 联合概率密度

   • 若$X$有密度函数$f$，则样本的联合密度为：
     $$f^{\ast }(\mathbf{x})=\prod _{i=1}^{n}f(x_i)$$

⚠️ 注意：这里的$f^{\ast }$和$F^{\ast }$并非导数，而是表示联合分布或联合密度。

---

一、总体为多元随机变量的定义

设总体是一个$d$维随机向量：

$$\mathbf{X}=(X^{(1)},X^{(2)},\cdots ,X^{(d)}{)}^{\top }$$

其联合分布函数为$F(\mathbf{x})=P(\mathbf{X}\le \mathbf{x})$，或具有概率密度函数$f(\mathbf{x})$（若连续型）。

---

二、样本（Sample）

从该总体中抽取一个容量为$n$的简单随机样本，是指$n$个独立同分布（i.i.d.）的$d$维随机向量：

$${\mathbf{X}}_1,{\mathbf{X}}_2,\cdots ,{\mathbf{X}}_n$$

其中每个：

• ${\mathbf{X}}_i=(X_i^{(1)},X_i^{(2)},\cdots ,X_i^{(d)}{)}^{\top }$ 是第$i$个观测单位；
• 所有${\mathbf{X}}_i\stackrel{\text{i.i.d.}}{\sim }F$，即独立且服从与总体相同的分布。

✅ 可将整个样本看作一个$n\times d$的随机矩阵：
$$\left[\begin{array}{cccc}{X}_{11}& X_{12}& \cdots & X_{1d}\\ X_{21}& X_{22}& \cdots & X_{2d}\\ ⋮& ⋮& \ddots & ⋮\\ X_{n1}& X_{n2}& \cdots & X_{nd}\end{array}\right]=\left[\begin{array}{c}{\mathbf{X}}_1^{\top }\\ {\mathbf{X}}_2^{\top }\\ ⋮\\ {\mathbf{X}}_n^{\top }\end{array}\right]$$

---

三、样本值（Sample Values / Observations）

对应于上述样本的观察结果是一组具体的$d$维向量：

$${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_n$$

其中每个：

• ${\mathbf{x}}_i=(x_i^{(1)},x_i^{(2)},\cdots ,x_i^{(d)}{)}^{\top }\in {\mathbb{R}}^d$ 是${\mathbf{X}}_i$ 的实际观测值。

✅ 同样可以写成$n\times d$数据矩阵（即数据表）：
$${\mathbf{X}}_{\text{data}}=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1d}\\ x_{21}& x_{22}& \cdots & x_{2d}\\ ⋮& ⋮& \ddots & ⋮\\ x_{n1}& x_{n2}& \cdots & x_{nd}\end{array}\right]=\left[\begin{array}{c}{\mathbf{x}}_1^{\top }\\ {\mathbf{x}}_2^{\top }\\ ⋮\\ {\mathbf{x}}_n^{\top }\end{array}\right]$$

---

四、联合分布与联合密度（多元情形）

由于样本是独立同分布的，因此：

1. 联合分布函数

$$F^{\ast }({\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_n)=P({\mathbf{X}}_1\le {\mathbf{x}}_1,\cdots ,{\mathbf{X}}_n\le {\mathbf{x}}_n)=\prod _{i=1}^{n}F({\mathbf{x}}_i)$$

注：${\mathbf{X}}_i\le {\mathbf{x}}_i$ 指各分量分别不大于。

2. 联合概率密度函数（如果存在）

$$f^{\ast }({\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_n)=\prod _{i=1}^{n}f({\mathbf{x}}_i)$$

这是多元统计分析、机器学习（如多元正态分布建模、最大似然估计）中的基础表达式。

---

✅ 五、举例说明

假设我们要研究某城市居民的“健康状况”，记录每个人的：

• 身高（cm）
• 体重（kg）
• 收缩压（mmHg）

则总体为三维随机向量：
$$\mathbf{X}=(\text{身高},\text{体重},\text{血压}{)}^{\top }$$

从中抽取$n=100$人的数据，得到样本：
$${\mathbf{X}}_1,{\mathbf{X}}_2,\cdots ,{\mathbf{X}}_{100}$$

每个${\mathbf{X}}_i$ 是一个三维随机向量。

观测后得到样本值：
$${\mathbf{x}}_1=\left[\begin{array}{c}170\\ 65\\ 120\end{array}\right],{\mathbf{x}}_2=\left[\begin{array}{c}165\\ 58\\ 118\end{array}\right],\cdots ,{\mathbf{x}}_{100}=\left[\begin{array}{c}178\\ 72\\ 130\end{array}\right]$$

这构成一个$100\times 3$的数据矩阵。

---

✅ 总结对比

概念	一元情形（标量）	多元情形（向量）
总体	随机变量$X$	随机向量$\mathbf{X}\in {\mathbb{R}}^d$
分布	$F(x),f(x)$	$F(\mathbf{x}),f(\mathbf{x})$
样本	$X_1,\cdots ,X_n$	${\mathbf{X}}_1,\cdots ,{\mathbf{X}}_n$
样本值	$x_1,\cdots ,x_n$	${\mathbf{x}}_1,\cdots ,{\mathbf{x}}_n$
联合密度	${\prod }_{i=1}^{n}f(x_i)$	${\prod }_{i=1}^{n}f({\mathbf{x}}_i)$

---