概率论与数理统计第七章
参数估计与非参数估计（本节只涉及参数估计）：指利用已有的样本对未知参数进行估计（一般需要构造合理的统计量：正态分布，\(t\)分布，\(F\)分布）
矩估计
用样本矩估计总体矩。
【第七章例题P122】设\(X_1,X_2,\cdots,X_n\)是来自总体\(X\sim U[\theta_1,\theta_2]\)的一个样本，求\(\theta_1,\theta_2\)的矩估计。
【第七章例题P123】设\((X_1,Y_1),(X_2,Y_2),\cdots,(X_n,Y_n)\)为二维总体\((X,Y)\)的一个样本，求相关系数\(\rho\)的矩估计。
极大似然估计
设\(\theta\)是待估计参数，对于样本函数，记为\(p(x_i;\theta)\)，此时将\(\theta\)作为主元，对样本\((X_1,X_2,\cdots,X_n)\)的一组观察值\((x_1,x_2,\cdots,x_n)\)，记似然函数为上述概率的连乘，求使得此函数取最大值的\(\theta\)值，作为其极大似然估计。
基本格式：
（1）设观察值，写单分布律；
（2）写似然函数与对数似然函数；
（3）求导（求偏导），解似然函数方程，得似然函数估计值（\(x\)），得极大似然估计量。\((X)\)
求下列情况的极大似然估计
（1）总体\(X\sim N(\mu,\sigma^2)\)，其中\(\mu,\sigma^2\)为未知参数，\(X_1,X_2,\cdots ,X_n\)是其一个样本，\(\mu, \sigma^2\)；
（2）总体\(X\sim U[\theta_1,\theta_2]\)，其中\(\theta_1,\theta_2\)为未知参数，\(X_1,X_2,\cdots,X_n\)是其一个样本，\(\theta_1,\theta_2\)。
例题
【NJU2024期末】设总体\(X\)的概率密度函数为\(x1P_Y(y) =\begin{cases}\displaystyle \frac{1}{\theta_1}e^{ -\frac{x-\theta_1}{\theta_2}}, & -\infty < \theta_1\le x<+\infty \\0, & \text{otherwise}\end{cases}\) ，若\(X_1,X_2,\cdots.X_n\)是总体\(X\)的样本，求未知参数\(\theta_1,\theta_2\)的矩估计量和极大似然估计量。
参考解答
矩估计：
\(EX=\theta_1+\theta_2,EX^2=\theta_1^2+2\theta_1\theta_2+2\theta_2^2=(\theta_1+\theta_2)^2+\theta_2^2\)
有\(\theta_1+\theta_2=A_1,(\theta_1+\theta_2)^2+\theta_2^2=A_2-A_1^2\)
解得：\(\theta_1=A_1-\sqrt{A_2-A_1^2},\theta_2=\sqrt{A_2-A_1^2}\)，其中\(\displaystyle A_1=\overline{X}.A_2=\frac{1}{n}\sum_{i=1}^{n}X_i^2\)
极大似然估计：
前置过程省略，有\(\displaystyle \ln L(x:\theta_1,\theta_2)=\frac{\displaystyle n\theta_1-\sum_{i=1}^{n}X_i}{\theta_2}-n\ln \theta_2\)
可知此函数是\(\theta_1\)的单增函数，故\(\hat{\theta_1}=\min(X_1,X_2,\cdots,X_n)\)
解对数似然方程，有\(\theta_2=\overline{X}-\min(X_1,X_2,\cdots,X_n)\)
估计量的评价标准
无偏性准则
\(E(\hat{\theta})=\theta\)
均方误差准则
均方误差：\(M(\hat{\theta},\theta)=E(\hat{\theta}-\theta)^2=D(\hat{\theta})+(E\hat{\theta}-\theta)^2\)，若估计量是无偏估计，则均方误差可以指考虑前一部分。
一致性
样本量越多，估计量应越发趋近真实参数。
区间估计：
给定置信度\(1-\alpha\)，\(X_1,X_2,\cdots,X_n\)为来自总体\(N(\mu,\sigma^2)\)的一组样本。
正态总体\(N(\mu,\sigma^2)\)中均值\(\mu\)的置信区间
\(\sigma^2\)已知
取枢轴变量\(\displaystyle U=\frac{\overline{X}-\mu}{\sigma/\sqrt{n}}\sim N(0,1)\)
得置信区间为\(\displaystyle (\overline{X}-u_{\alpha/2}\frac{\sigma}{\sqrt{n}},\overline{X}+u_{\alpha/2}\frac{\sigma}{\sqrt{n}})\)
Warning
注：置信区间默认取对称，实际上并不唯一：
\(\displaystyle (\overline{X}-u_{\theta\alpha}\frac{\sigma}{\sqrt{n}},\overline{X}+u_{(1-\theta)\alpha}\frac{\sigma}{\sqrt{n}})\)
对于单侧估计：置信区间为\((\displaystyle \overline{X}-u_{\alpha}\frac{\sigma}{\sqrt{n}},+\infty)or(\displaystyle -\infty,\overline{X}+u_{\alpha}\frac{\sigma}{\sqrt{n}}))\)
\(\sigma^2\)未知
由\(\displaystyle T=\frac{\sqrt{n}(\overline{X}-\mu)}{S}\sim t(n-1)\)，得置信区间为：
\(\displaystyle (\overline{X}-t_{\alpha/2}(n-1)\frac{S}{\sqrt{n}},\overline{X}+t_{\alpha/2}(n-1)\frac{S}{\sqrt{n}})\)
正态总体\(N(\mu,\sigma^2)\)中方差\(\sigma^2\)的置信区间（仅讨论均值\(\mu\)未知的情况）
\(\mu\)未知：由\(\displaystyle \frac{(n-1)S^2}{\sigma^2}\sim \chi^2(n-1)\)，得置信区间为：
\(\displaystyle (\frac{(n-1)S^2}{\chi^2_{\alpha/2}(n-1)},\frac{(n-1)S^2}{\chi^2_{1-\alpha/2}(n-1)})\)