比如我们做最平常的t检验

自从bootstrap被发明出来,就受到来统计学家、计量经济学家的极大关注。有人开玩笑说,自从这个方法出来,统计学的文章长度平均增加了半页。
当然,在计量经济学领域,这个方法主要用在假设检验上,实际应用中做bias reduction的至少我没怎么见过。

但是由于对统计理论的不熟悉,有些人使用bootstrap的方法其实是错的或者至少是不太好的,而自己也没有察觉。最近刚好在做关于bootstrap的东西,之前我也不是很懂,做了这个项目之后才发现自己之前的一些理解是错的。姑且做一些小的总结,也希望能吸引各位计量经济学、统计学大神深入讨论。

Bootstrap的思想是,我们已经得到了从未知总体F_0中抽样的样本,假设为s,那么为了获得更好的估计或者进行假设检验,我们可以把这个样本s作为总体,在s的分布函数F_1里面进行抽样。由于s的经验分布函数(EDF)的性质,在F_1中抽样即在s中有放回的抽样。Peter Hall在他的著作《The bootstrap and Edgeworth Expansion》中把bootstrap比作俄罗斯套娃,我觉着再形象不过。

(Peter Hall 书中略恐怖的俄罗斯套娃,还是我找的图可爱)

但是在实际使用中,有一些细节需要格外注意。

Horowitz在Ch52 The Bootstrap, Handbook of Econometrics中提出了几条bootstrap的原则:

bootstrap的统计量一定要是pivotal的,也就是说,这些统计量的渐进分布不依赖于未知的总体参数。
在一个过度识别的系统,做bootstrap的时候一定要中心化(centering)
不要对非参数、半参数或者不平滑的估计量使用bootstrap。
第一条,统计量需要时pivotal的。比如我们做最平常的t检验。我们当然可以对参数\hat{\beta}进行bootstrap,得到bootstrap的\hat{\beta}的分布,然而这个统计量的渐进分布是依赖于未知总体参数的(方差),因而我们需要对\frac{\hat{\beta}}{s.e.(\hat{\beta})}进行bootstrap,这个统计量的渐进分布如果是N(0,1),那么就是pivotal的了。

第二条,比如我们在做2SLS的时候,如果使用了多于内生变量个数的工具变量,可以想象,GMM的目标函数\sum_i (y_i-x_i’\hat{\beta}_{IV})z_i'(Z’Z)^{-1}z_i(y_i-x_i’\hat{\beta}_{IV})\neq0,所以如果我们直接使用放回抽样,因为对于原先的抽样,以上不等式成立,所以bootstrap抽样的2SLS矩条件不成立,所以bootstrap估计量是不一致的。解决的办法就是使用\hat{\beta}_{IV}对矩条件recentering(详见Handbook of Econometrics pp. 3186-3187)。

第三条,很多统计量是不能用bootstrap的,比如常见的非参数kernel回归,以及一些目标函数不是非常平滑的估计量,例如quantile回归、maximum score estimators等等。

另外还有需要提醒的是精炼(refinement)。比如有些人(比如刚学bootstrap时候的我),以为做假设检验只需要bootstrap出s.e.(\hat{\beta})就可以了。但是我们发现,s.e.(\hat{\beta})不是pivotal的。正确的做法是对t=\frac{\hat{\beta}}{s.e.(\hat{\beta})}进行bootstrap,记为\{t_1,t_2…t_m\},然后找出(1-\alpha)th quantile of \{|t_1|,|t_2|…|t_m|\}作为critical value,与\frac{\hat{\beta}}{s.e.(\hat{\beta})}进行比较,如果t>t_{1-\alpha}则拒绝原假设。

另外bootstrap的抽样方法除了最简单的有放回抽样之外,还有各种其他的抽样方法,有参数的、非参数的,有不放回懂,有bolck,有residual-based。这些方法如果扩展起来就有点复杂了。如果是要做test,那么不同的抽样方法会导致不同的size和power。在这方面可以写一本书了,我也不是完全了解所有的抽样方法,因而在这里只做个提醒,欢迎讨论。

之前两个星期一直在做bootstrap,但是一直是错的。昨晚翻handbook,有一段话给了我灵感,就把正确的写出来了。所以做研究没事还是要翻handbook啊!!!

0 Replies to “比如我们做最平常的t检验”

发表评论

电子邮件地址不会被公开。 必填项已用*标注