统计中的 Bootstrap 方法是指什么？与 Monte Carlo 方法
有什么联系与区别？
【JackDiamond的回答(73票)】:风马牛不相及，举个简单的例子(关于一个分布的平均值)来帮你理解bootstrap和Monte Carlo，比如现在有一个分布F...1. Bootstrap: 如果我无法知道F的确切分布，手上仅有一组从F中iid抽样的样本(X_1, ..., X_n)，我想检验“F的均值是否为0”。看起来这个不可能，因为我只有一个ar{X}的点估计，而并不知道ar{X}的分布。Bootstrap的魔术是现在我把(X_1, ..., X_n)这个样本当做总体，从中(有放回地)重新抽样，重抽样样本大小仍为n，那么每一次重抽样就可以得到一个“样本均值”，不断地重抽样我就得到了一个ar{X}的“分布”。这样接下来我就可以构造confidence interval并做检验了。虽然实践中bootstrap的重抽样步骤都是用Monte Carlo方法来模拟重抽样样本统计量的分布，但是严格地说这个分布原则上可以精确计算。而如果待估统计量比较简单，bootstrap的结果有时甚至可以直接用(X_1, ..., X_n)的某种统计量表示出来，从而并不需要真正地“重抽样”。当然实际应用中绝大多数时候重抽样分布的解析表达式都会太复杂，所以用模拟代替计算。(关于bootstrap的更多讨论见此答案下的评论，特别是Lee Sam提的问题)2. Monte Carlo: 如果我知道F的确切分布，
现在想计算mean(F)，但是F的形式太复杂(或者我这人太懒)；另一方面我又知道如何从F中抽样，于是就抽一个样本出来，拿样本均值充数。一般来说bootstrap干的事大都跟这个例子中干的事差不多，而Monte Carlo的应用要广泛和多元化得多了。所以两者连“区别”都谈不上，就是两码事。【赵卿元的回答(20票)】:谢邀。Monte Carlo是一个更基础的想法。在很多数学、物理或者工程问题种有很多无法写出closed form的表达式，为了能得到数值上的一个解，需要通过随机采样的方法去估计。Bootstrap是重新改变统计学的一个想法。统计推断的主体总是一个的随机变量分布。在这个分布很复杂无法假设合理的参数模型时，bootstrap提供了一种非参数的推断方法，依靠的是对观测到的样本的重新抽样（resampling），其实是用empirical distribution去近似真正的distribution。这两种方法从目的到用法都完全不同，有联系的话就是都涉及到计算机抽样。
==============================================================@豆豆叶 觉得“bootstrap是对empirical distribution的monte carlo”的说法更合理，我保留意见。我认为monte carlo和sampling还是不能互为替换的。我认为Monte Carlo和Bootstrap更多的是两种思想，都是基于random sampling去近似某一目标。Monte Carlo的目标一般是一个难以计算的积分，bootstrap的目标一般是统计
推断。【马拉轰的回答(6票)】:这个问题又该邀请 @赵卿元了，我先抛砖引玉吧。Bootstrap的中文翻译是“自助法”，由后来成为斯坦福统计系主任的Bradley Efron在70年代提出。中心思想是通过从样本中重抽样（resample是这么翻的么？），构建某个估计的置信区间。抽象的说，通过样本得到的估计并没有榨干样本中的信息，bootstrap利用重抽样，把剩余价值发挥在了构建置信区间上。Bootstrap因为其通用性的和简便性而被广泛使用（只要有样本就可以resampling，就可以bootsrap，任何分布都能做，只是消耗一些计算资源）。特别是在各种统计（机器）学习算法大大复杂了“估计”，bootstrap的实用性太明显了。至于Bootstrap和Monte Carlo有什么联系与区别，这两个本身不是对应的概念，怎么个区别法呢？Bootstrap在重抽样的时候，一般采用sample with replacement而不是穷尽所有组合，也可以认为用到了Monte Carlo吧。详情还是看Efron&Tibshirani那本An Intro to Bootstrap，没有更好的参考了。
【EdisonChen的回答(6票)】:来简单讲讲Bootstrap（，Monte Carlo法在中文维基上有了还不错的解答，题主可以参考，蒙地卡羅方法）。Bootstrap，即“拔靴法”（不知道翻得对不对），是用小样本来估计大样本的统计方法。举个栗子来说明好了，（我不会贴一个举栗子的图片的放心！）你要统计你们小区里男女比例，可是你全部知道整个小区的人分别是男还是女
统计中的 Bootstrap 方法是指什么？与 Monte Carlo 方法有什么联系与区别？
