本文介绍Neyman-Pearson理论,这也是我们会见到的最常见假设检验问题类,这里第一Part的概念介绍略显枯燥,大家尽量理解即可。由于本系列为我独自完成的,缺少审阅,如果有任何错误,欢迎在评论区中指出,谢谢

Part 1:NP理论的基本概念

NP理论的样本\(X\sim \{F_{\theta}:\theta\in\Theta \}\),即来自一个参数分布族,相比拟合优度检验,此时的模型假定条件要更强一些,也因此需要检验的假设就落在了未知参数的取值范围上。一般地,原假设\(H_0\)和备择假设\(H_1\)是这么提出的:

\[H_0:\theta\in\Theta_0\leftrightarrow H_1:\theta\in\Theta_1,
\]

这里\(\Theta_1=\Theta\setminus\Theta_0\),也就是说,要么\(\theta\)落在\(\Theta_0\)内,要么\(\theta\)落在\(\Theta_1\)内。假设检验,就是根据样本\(\boldsymbol{X}\)的具体观测,在\(H_0\)和\(H_1\)中选择一个,也就是接受零假设或者拒绝零假设

比如,对于正态总体\(N(\mu,\sigma^2)\)中抽取的总体

\[\begin{matrix}
79.38 & 81.39 & 81.89 & 78.63 & 77.65,
\end{matrix}
\]

如果想知道是否有\(\mu=79\),在\(\sigma^2\)未知的情况下,零假设和备择假设就应该如此提出:

\[H_0:\mu=79\leftrightarrow H_1:\mu\ne 79,
\]

这里\(\Theta_0=\{79\},\Theta_1=\mathbb{R}\setminus\{79\}\)。在这样的样本之下,何时接受\(H_0\)?我们不妨引入这样的一个检验:计算\(\mu\)的\(95\%\)置信区间,如果这个置信区间包含\(79\)就接受\(H_0\)。从这里构建出的置信区间是\([77.54,82.03]\),因而我们选择接受\(H_0\)。

既然置信区间完全由抽取的样本\(\boldsymbol{X}\)决定,当样本\(\boldsymbol{X}\)取到某个范围\(\mathscr X_1\)时置信区间一定包含\(\mu_0=79\),而如果样本没有落入\(\mathscr X_1\),就意味着落入了另一个空间\(\mathscr X_2=\mathbb{R}^5-\mathscr X_1\),此时的置信区间就一定不包含\(\mu_0=79\),拒绝原假设。因此,完全可以将样本空间划分为两部分,使得样本落入其中一部分时拒绝零假设,没有落入这部分就接受原假设,我们将拒绝原假设的样本空间的子集称为拒绝域

可以看出,一个检验的实质就是其拒绝域\(D\),如果两个检验有相同的拒绝域,这两个检验自然就是相同的。在这里,拒绝域是确定的一个部分,可以构建一个检验\(T\),如此描述:

\[T=\left\{\begin{array}l
H_0,&X\notin D;\\
H_1,& X\in D.
\end{array}\right.
\]

不过,有时候问题的拒绝域不是这么确定的,如从\(B(5,\theta)\)中抽取一个样本对\(\theta\)作估计,规定\(H_0:\theta=0.5\)。如果\(X=3\),我们就接受\(H_0\);如果\(X=1,5\)就拒绝\(H_0\)。但是\(X=2,4\)时,我们就在接受或者\(H_0\)中陷入困难,因为好像拒绝和接受都不是那么妥当。

此时,我们引入检验函数的概念,来更好地描述检验。规定检验函数为定义在样本空间\(\mathscr X\)、取值于\([0,1]\)的函数\(\varphi(\boldsymbol{x})\),规定\(\varphi(\boldsymbol{x})\)为样本观测为\(\boldsymbol{x}\)时拒绝\(H_0\)的概率。此时,一个检验与一个检验函数就是一一对应的,拒绝域\(D\)就是\(\{\boldsymbol{x}:\varphi(\boldsymbol{x})=1\}\)。

如果\(\varphi(\boldsymbol{x})\)的值域为\(\{0,1\}\)而不包含任何介于其中的值,就称为非随机检验,如果存在有些\(\boldsymbol{x}\)有\(0<\varphi(\boldsymbol{x})<1\),就称为随机检验。我们主要讨论的都是非随机检验。对于随机检验,往往需要一个与样本独立的随机试验作为辅助。

有检验就一定会犯错,在检验假设时会犯的错误可以分为两类:一类是\(H_0\)正确但被拒绝,称为弃真错误(第一类错误);另一类是\(H_0\)错误但被接受,称为存伪错误(第二类错误)。我们自然希望犯错的概率尽可能小,一般说来对于一个检验,如果犯第一类错误的概率高,犯第二类错误的概率就低。

为了描述检验犯错的概率,引入功效函数的概念:设\(\varphi(\boldsymbol{x})\)是一个检验函数,则其对应的功效函数定义为

\[\beta_\varphi(\theta)=\mathbb{P}_{\theta}\{用检验\varphi否定了H_0\}=\mathbb{E}_{\theta}(\varphi(\boldsymbol{X})).
\]

这是一个关于参数\(\theta\)的函数,特别对于非随机检验,有\(\beta_\varphi(\theta)=\mathbb{P}_{\theta}(\boldsymbol{X}\in D)\)。有了功效函数,就可以完全决定犯两类错误的概率:

\[\alpha^*_{\varphi}(\theta)=\left\{\begin{array}l
\beta_\varphi(\theta),& \theta\in\Theta_0,\\
0,& \theta\in\Theta_1;
\end{array}\right.\\ \beta^*_{\varphi}(\theta)=\left\{\begin{array}l
0,& \theta\in\Theta_0,\\
1-\beta_\varphi(\theta),& \theta\in\Theta_1.
\end{array}\right.
\]

如果要使\(\alpha_{\varphi}^*(\theta)\)和\(\beta^*_{\varphi}(\theta)\)都尽可能小,则功效函数\(\beta_{\varphi}(\theta)\)就应该在\(\Theta_0\)中尽可能小,在\(\Theta_1\)中尽可能大。

既然固定样本容量时,任何检验都不能同时让第一类错误和第二类错误的概率很小,那么Neyman-Pearson所提出的原则就是:在保证犯第一类错误的概率不超过指定数值\(\alpha\)的检验中,寻找犯第二类错误概率尽可能小的检验。

最后,给出检验的水平的概念。如果\(\varphi\)犯第一类错误的概率总不超过\(\alpha\),则称\(\alpha\)是检验\(\varphi\)的一个水平,即\(\varphi\)是水平为\(\alpha\)的检验等价于\(\forall \theta\),\(\beta_{\varphi}(\theta)\le \alpha\)。显然,如果\(\alpha\)是检验\(\varphi\)的水平,则对于任何比\(\alpha\)大的\(\alpha'\),\(\alpha'\)也是\(\varphi\)的水平。记检验所有水平的下确界为\(\varphi\)的真实水平,也是\(\sup\{\beta_{\varphi}(\theta):\theta\in\Theta\}\)。

Part 2:似然比检验

对于参数假设检验,一种通用的方式是构造似然比检验,它的构造方式直观,适用面广,故适合于几乎所有参数假设检验问题。日后当我们学习多元统计分析的时候,由于多元理论尚不成熟,似然比检验会在其中发挥更大的用途。

似然比检验是基于似然函数而构造的,由于零假设和备择假设将参数空间分为两个部分,在这两个部分上都取让似然函数取值最大的点。由于零假设的参数空间是全参数空间的一个子集,所以零假设上似然函数的最大值必定不超过全参数空间上似然函数的最大值。构造似然比统计量

\[\lambda(\boldsymbol{x})=\frac{\sup\limits_{\theta\in\Theta_0}f(\boldsymbol{x};\theta)}{\sup\limits_{\theta\in\Theta}f(\boldsymbol{x};\theta)}\in[0,1].
\]

如果此比值较大,则参数在\(\Theta_0\)内的可能性就较大,故倾向于接受原假设;如果此比值较小,则参数空间在\(\Theta_0\)内的可能性就较小,故倾向于拒绝原假设。一个基于似然比统计量的非随机检验函数就应该具有以下的形式:

\[\varphi(\boldsymbol{x})=\left\{\begin{array}l
1,& \lambda(\boldsymbol{x})<c;\\
0,& \lambda(\boldsymbol{x})\ge c.
\end{array} \right.\quad D=\{\boldsymbol{X}:\lambda(\boldsymbol{X})<c \}.
\]

这就是似然比检验。有时候\(\lambda(\boldsymbol{x})\)的形式可能较复杂,找与\(\lambda(\boldsymbol{x})\)具有相同或者相反单调性的统计量构造形式相似的检验,也是似然比检验;如果\(\lambda(\boldsymbol{x})\)的精确形式很难求,也可以用极限分布来替代,这是因为关于似然比统计量的极限分布由Wilks定理所保证为卡方分布。

以下简单给出一个似然比检验的构造,求\(N(\mu,\sigma^2)\)中,\(H_0:\mu=\mu_0\leftrightarrow H_1:\mu\ne\mu_0\)的水平为\(\alpha\)的似然比检验。其步骤是这样的:

  1. 写出似然函数为

    \[f(\boldsymbol{x};\theta)=(2\pi\sigma^2)^{-\frac{n}{2}}\exp\left\{-\frac{1}{2\sigma^2}\sum_{j=1}^n(x_j-\mu)^2 \right\}.
    \]
  2. 分别求出零假设\(\Theta_0\)内的极大似然估计点和全参数空间\(\Theta\)内的极大似然估计点。在这里,\(\Theta\)内的极大似然估计点显然是\(\hat \mu=\bar X\),\(\hat\sigma^2=\frac{1}{n}\sum_{j=1}^n(X_j-\bar X)^2\);而\(\Theta_0\)内的极大似然估计点,则是

    \[\hat \sigma^2_0=\frac{1}{n}\sum_{j=1}^n(X_j-\mu_0)^2.
    \]
  3. 第三步,将极大似然估计点代入似然比估计量,计算并化简形式。许多时候,似然比统计量计算过程具有很多的化简操作。

    \[\begin{aligned}
    \lambda(\boldsymbol{X})&=\left(\frac{\hat\sigma_0^2}{\hat \sigma^2}\right)^{-\frac{n}{2}}\frac{\exp\{{-\frac{1}{2\hat \sigma_0^2}}\sum_{j=1}^n(X_j-\mu_0)^2 \}}{\exp\{-\frac{1}{2\hat\sigma^2}\sum_{j=1}^n(X_j-\bar X)^2 \}}\\

    &\xlongequal{后一项约分} \left(\frac{\hat\sigma_0^2}{\hat\sigma^2} \right)^{-\frac{n}{2}}\\

    &=\left(\frac{\sum_{j=1}^n(X_j-\mu_0)^2}{\sum_{j=1}^n(X_j-\bar X)^2} \right)^{-\frac{n}{2}}\\
    &=\left(\frac{\sum_{j=1}^n(X_j-\bar X)^2+n(\bar X-\mu_0)^2}{\sum_{j=1}^n(X_j-\bar X)^2} \right)^{\frac{n}{2}}\\
    &=\left(1+\frac{(\bar X-\mu_0)^2}{\frac{1}{n}\sum_{j=1}^n (X_j-\bar X)^2} \right)^{-\frac{n}{2}}
    \end{aligned}.
    \]

  4. 第四步,将似然比统计量进行同单调性变换。这一步一般是最难的,需要将统计量转变成一个分布已知、且同单调性的统计量,才能构造出水平为\(\alpha\)的检验。我们可以先假设\(H_0\)成立,那么

    \[\frac{\sqrt{n}}{\sigma}(\bar X-\mu_0)\sim N(0,1),\\
    \frac{1}{\sigma^2}\sum_{j=1}^n(X_j-\bar X)^2\sim \chi^2(n-1),
    \]

    所以令

    \[T=\frac{\sqrt{n}(\bar X-\mu_0)}{\sqrt{\frac{1}{n-1}\sum_{j=1}^n (X_j-\mu_0)}}\sim t(n-1),\\
    \lambda(\boldsymbol{X})=\left(1+\frac{1}{n-1}T^2 \right)^{-\frac{n}{2}}.
    \]

    注意到\(\lambda(\boldsymbol{X})\)与\(T^2\)的单调性相反,所以拒绝域\(\lambda(\boldsymbol{X})<c'\)应当等价于具有\(|T|>c\)的形式。

  5. 第五步,求其水平为\(\alpha\)的检验,也就是找到点\(c\)使得

    \[\mathbb{P}(|T|>c|H_0)=\alpha,
    \]

    由于\(H_0\)下\(T\sim t(n-1)\),所以显然\(c=t_{\alpha/2}(n-1)\)。故似然比检验得到这个问题的拒绝域就是

    \[D=\{\boldsymbol{X}:|T(\boldsymbol{X})|>t_{\alpha/2} \}.
    \]

似然比检验的难点主要在于第四步,进行同单调性变换的过程;而第三步化简虽然繁琐,但只需要按部就班地执行即可。这里恰好是正态分布,所以可以找到一个具有良好分布的\(T\),使得似然比检验有较精确的形式。很多时候,找不到这个单调性相同或相反的统计量,而似然比统计量本身的精确分布又很难求得,这时候,Wilks定理就给出了一个非常重要且实用的结果。

Wilks定理:设\(\Theta\)的维数为\(k\),\(\Theta_0\)的维数为\(s\),若\(k-s>0\),且样本的概率分布满足一定的正则条件,则似然比统计量在\(H_0\)成立的情况下,有

\[-2\ln\lambda\stackrel{d}\to \chi^2_{k-s}.
\]

这样,我们就可以容易地使用似然比统计量进行检验。首先,假设\(H_0\)成立,这时候\(\lambda\)就不能太小,\(-2\ln \lambda\)也就不能太大,因此检验的拒绝域必定是\(D=\{-2\ln\lambda >c \}\);然后Wilks定理保证了\(-2\ln\lambda\)的极限分布为\(\chi^2_{k-s}\),所以在检验水平为\(\alpha\)的情况下,拒绝域可以是

\[D=\{-2\ln\lambda > \chi^2_{\alpha/2}(k-s)\}.
\]

不过尽管似然比检验具有直观、方便构造、具有普适性的优点,它的缺点也十分明显:缺乏针对性,效率不高。因此,如果有更精确的构造检验的方法,尤其是正态分布的参数假设检验问题,我们一般不会选择似然比检验。

Part 3:假设检验与区间估计

现在我们讨论单参数假设检验水平为\(\alpha\)的检验问题,事实上这可以与区间估计建立联系。

设\(\boldsymbol{X}=(X_1,\cdots,X_n)\)是从总体\(\{f(x,\theta);\theta\in\Theta\}\)中抽取的简单随机样本,如果参数\(\theta\)的置信水平为\(1-\alpha\)的置信区间为\([\hat\theta_1(\boldsymbol{X}),\hat\theta_2(\boldsymbol{X})]\),考虑检验问题:

\[H_0:\theta=\theta_0\leftrightarrow H_1:\theta\ne\theta_0,
\]

如果我们需要一个水平为\(\alpha\)的检验,令\(\bar D\)为其接受域,就有

\[\mathbb{P}(\bar D|\theta=\theta_0)=1-\alpha
\]

我们会发现,由置信区间的定义解\(\boldsymbol{X}\in \bar D\),就能得到\(\hat\theta_1(\boldsymbol{X})\le \theta_0\le \hat\theta_2(\boldsymbol{X})\)。也就是说,如果\(\theta_0\)落入了置信区间规定的范围,就不能拒绝原假设;否则就拒绝原假设。这就是由置信区间构造假设检验的方式。对于单边检验\(H_0:\theta\ge \theta_0\)或者\(H_0:\theta\le \theta_0\),则相应地求出单边的置信限即可。

因此,要构造出水平为\(\alpha\)的假设检验,只需要构造一个关于\(\theta\)的区间估计(或者置信限),归根结底还是依赖于点估计构造假设检验,在下一节中,我们将展示单正态分布总体参数的假设检验问题,会以一种稍微不同的方式展示点估计的使用方法。


本文的内容略显枯燥,Part 1主要是概念方面的问题,Part 2介绍了一种实用的似然比检验方法,但在我们当前学习的数理统计中用处不广泛,而Part 3将区间估计与假设检验结合在一起,为我们对大多数参数分布族的假设检验提供了方向。下一篇文章中,我们将对正态分布的参数假设检验问题进行讨论,并介绍假设检验中十分重要的概念:检验的p-value。

数理统计16:NP理论、似然比检验、假设检验与区间估计的更多相关文章

  1. 《零起点,python大数据与量化交易》

    <零起点,python大数据与量化交易>,这应该是国内第一部,关于python量化交易的书籍. 有出版社约稿,写本量化交易与大数据的书籍,因为好几年没写书了,再加上近期"前海智库 ...

  2. Image Processing and Analysis_8_Edge Detection:Statistical edge detection_ learning and evaluating edge cues——2003

    此主要讨论图像处理与分析.虽然计算机视觉部分的有些内容比如特 征提取等也可以归结到图像分析中来,但鉴于它们与计算机视觉的紧密联系,以 及它们的出处,没有把它们纳入到图像处理与分析中来.同样,这里面也有 ...

  3. 如何在R语言中使用Logistic回归模型

    在日常学习或工作中经常会使用线性回归模型对某一事物进行预测,例如预测房价.身高.GDP.学生成绩等,发现这些被预测的变量都属于连续型变量.然而有些情况下,被预测变量可能是二元变量,即成功或失败.流失或 ...

  4. (转)最大似然估计&amp;贝叶斯估计

    最大似然估计&贝叶斯估计 与传统计量模型相对的统计方法,存在 1)参数的解释不同:经典估计:待估参数具有确定值它的估计量才是随机的.如果估计量是无偏的,该估计量的期望等于那个确定的参数.bay ...

  5. Python机器学习笔记——随机森林算法

    随机森林算法的理论知识 随机森林是一种有监督学习算法,是以决策树为基学习器的集成学习算法.随机森林非常简单,易于实现,计算开销也很小,但是它在分类和回归上表现出非常惊人的性能,因此,随机森林被誉为“代 ...

  6. R生存分析AFT

    γ = 1/scale =1/0.902 α = exp(−(Intercept)γ)=exp(-(7.111)*γ) > library(survival) > myfit=survre ...

  7. SPSS—回归—二元Logistic回归案例分析

    数据分析真不是一门省油的灯,搞的人晕头转向,而且涉及到很多复杂的计算,还是书读少了,小学毕业的我,真是死了不少脑细胞, 学习二元Logistic回归有一段时间了,今天跟大家分享一下学习心得,希望多指教 ...

  8. 《SAS编程与数据挖掘商业案例》学习笔记之十八

    接着曾经的<SAS编程与数据挖掘商业案例>,之前全是sas的基础知识,如今開始进入数据挖掘方面笔记,本文主要介绍数据挖掘基本流程以及应用方向,并以logistic回归为例说明. 一:数据挖 ...

  9. SPSS分析技术:无序多元Logistic回归模型;美国总统大选的预测历史及预测模型

    SPSS分析技术:无序多元Logistic回归模型:美国总统大选的预测历史及预测模型 在介绍有序多元Logistic回归分析的理论基础时,介绍过该模型公式有一个非常重要的假设,就是自变量对因变量多个类 ...

  10. SPSS详细操作:生存资料的Cox回归分析

    SPSS详细操作:生存资料的Cox回归分析 一.问题与数据 某研究者拟观察某新药的抗肿瘤效果,将70名肺癌患者随机分为两组,分别采用该新药和常规药物进行治疗,观察两组肺癌患者的生存情况,共随访2年.研 ...

随机推荐

  1. URI编码解码和base64

    概述 对于uri的编解码,在js中有3对函数,分别是escape/unescape,encodeURI/decodeURI,encodeURIComponent/decodeURIComponent. ...

  2. 修改phpcms会员登录后头部登陆条的会员名称不带括号

    phpcms会员登录后显示会员名称是带括号的,现在把他修改成不带括号. 找到函数库libs/functions/global.func.php,修改如下即可: function get_nicknam ...

  3. 1003. Emergency

    As an emergency rescue team leader of a city, you are given a special map of your country. The map s ...

  4. 芯航线FPGA学习套件之多通道串行ADDA(TLV1544,TLC5620)模块测试手册

    芯航线FPGA学习套件之多通道串行ADDA模块测试手册   本手册以简明扼要的方式介绍芯航线FPGA学习套件提供的ADDA模块的测试方法:   连接开发板,如下所示: 2.将ADDA V1.1模块与开 ...

  5. 使用Docker搭建Jenkins+Docker持续集成环境(自动化构建发布部署)

    本文介绍如何通过Jenkins的docker镜像从零开始构建一个基于docker镜像的持续集成环境,包含自动化构建.发布到仓库\并部署上线. 0. 前置条件 服务器安装docker,并启动docker ...

  6. #研发解决方案#研发协作平台CloudEngine

    Cloud Engine:大杀器如何炼成 郑昀(微博:http://weibo.com/yunzheng) 创建于2016/6/18 最后更新于2016/6/19 点击查看我的<如何从零搭建一个 ...

  7. Delphi的TService 服务路径获取 Dll中获取文件路径

    研究delphi服务的路径,试了好几个方法 ,都没取出来,最后发现,要采用取DLL路径的方法 //一.获取Dll自身路径 //1)方法一: Function GetDllPath(sDllName:s ...

  8. 如何将git本地创建的项目推送到github仓库

    除了集中式的版本控制系统CVS和SVN外,还有目前世界上最先进的分布式版本控制系统Git,它的创始人是创建了linux的大神 - linus.GitHub网站与2008年开始服役,为开源项目免费提供G ...

  9. JS正则判断输入框是否仅仅含有汉字、字母和数字

    代码如下: if($.trim($("#user_api_register_form").find("input[name='user_name']").val ...

  10. 一分钟认识:Cucumber框架

    一分钟认识:Cucumber框架(一) 转自:https://www.cnblogs.com/dami520/p/3168864.html 个人感觉这个框架非常适合UI自动化测试,他不仅能把用例中的测 ...