低加盟费小创业项目_低配搬砖游戏_低配置单机游戏神作

当前位置: 首页 >  ASO优化 » 正文

大数据下的统计学:问题优先而非解法优先

 ⊙;

作者:Jeff Le╨ek 翻译:岳辰 校对:Vanessa

在大数据时代,统计学应当如何发挥它的优势?很多统计学家都在探讨这个问题,包括Steve M. 和Larry W. 也在他们的博客探讨了有关的内容。→而笔者的科研方︹︺︻向主要是研究基因组学,也通常被列为统计♧学和统计学家发挥巨☎大作用的“★大数据”的领域之一,所以对这个问题也℃思考了一段时间。

一个自然而然的问题就是:“为什么在基因学研究中,统计学家可以取得如此大的成功?”笔者这里想借用Brian C.的一句话来解释:Problem first, not solutiΔon backward (问题优先而非解法优先)

在当下,“大数据”这个¤词的广泛应用得益于数据的获取变得越来越便宜。一个例子就是DNA序列扫描的价格。在其他领域中也是一样,例如人体运动的数据记录,Fitbits,Google books,Twitter上的β社交网络数据等等。这些数据的获∶取或许在十年前有着令人生畏的价格,但现在却绝非难事。

作为一名统计学家,我们希望从这些非常不同的领域中寻找大数据普适的原则:

1.这些︴数据都无法在一个简↑单的笔记本电脑上进行分析(不论从几千兆到兆兆字节)。

2.这些数据я形式复杂,结构庞杂,如有非结构化的文字信息,有缺失很多数据的js▧on文件,含有质量指标的fastq文件等等等等。

那么为什么在基因研究中,统计学❤☜家ↀ能取得如此大的成功↔呢?在笔者看来,很多原因就是干这一行的统计学家愿意花上╥很长的时间,去处理那些很细节的数据问题。比如,在大数据上运行哪怕是最为简单的统计τ模型,也要花上数个小时的时间,抑或处理一个得到的基因序列并对它们进行必要的修复也同样是非常耗时耗力。正因为愿意♯♮去花时间理解并处理这些很实际的、很细节的问‖题,统计学家才能得到那些别人无法得到的数据,才使得统计学家在基因学科上取得了今天的成κ就。

这些事情并不轻松,也并不“高雅”。很多统计┛学家也不称之为“Е统计”。Steve在他的博客中提到:“坦诚地说,我对于现在的统计学很少能提出有价值的新观点表示失望。”我想,他的观点是有很多统计学家赞同的。大意是说由于在大数据上面目前没有什么好的理论提出,所以在大数据方面也就没什么值得称为上乘的“新观点”。他们的ы这种观点就是solution backward (解法优先):我们需要漂亮的理论,然后◆把它应用到具▀体问题。

与之不同,我们提出的方式,▎▏就是problemforwar〇d (问题优先)。正因为当下得到数据变得×越来☆越便宜,我们也就可┐以分析和学习很多以前无法完成的课题。计算机科学,物理学,生物基因以及其他一些领域在大数据上面┕一直保持领先正因为他们的研究者在数据分析上并不一定需要一个统计上“完美”的解答。他们更关注有科学意义的问题并愿意花时间,精力φ去处理那▉些繁琐的“大数据”来进行分析,从而达到目的。因此,他们能获〣得别人从未研究过的数据并从中提炼有价值的部分。

在基因学科中就有着很好的例子。DNA晶片的发№明,对这个领域产生了革命性的影响Π。而后统计学家进入这个领域。他们和ω其他科研人员一起为了同样的科学问题,在实际数据上投入了∈大量的时间,精力来完成数据处理,或者开发能够处理数据的软件。在笔者看来,想要在大数据时代真正做出成果,首先要专注于那些有意义的科学问题,然后才是提出能解决科学问题的统计≧方法。这就需要我们重新去思考统计学。那些比如并行计算,@数据再加工,数据可复制性,▽软件开发等等问题,其实和纯统计理论方法同样的▌重要。

当然,在大数据时∩代,统计学有着广泛的发挥空间,用我们独特的技能去处理这些新问题中的不确定性,但是这一〆切的前提都是我们ζ要首先愿意去为了科学目标来处理那些关于数据方面繁琐的工作。

上一篇:2018年全国各地高考作文题目最新汇总
下一篇:埃森哲:新型能源消费者调查报告