资源描述
单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,Statistics,&,Actuarial Science,统计学院,数据与统计学思考,大,内容提要,大数据：,真的是大忽悠吗？,科学研究与统计分析：,从公式到范式。,统计之道：,频率贝叶斯,-,回归自然！,大数据：,定义辨析 （大忽悠？）,大数据（巨量资料（,IT,行业术语）,1,大数据,技术,(big data),，或称巨量,资料,，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。,2,大数据指不用随机分析法（,抽样调查,）这样的捷径，而采用所有数据进行分析处理。,3,大数据的,4V,特点：,Volume,（大量）、,Velocity,（高速）、,Variety,（多样）、,value,（价值）,大数据：,最形象的定义,大数据：,最容易理解的定义,明道副总裁许维,只要,1000,个字文科生也能理解大数据,1000,字从这里开始,水这个东西大家都见过。,当你有一杯水的时候，你可以喝它。,当你有一盆水的时候，你可以用它洗脸。,当你有一浴缸水的时候，你可以用它泡澡。,当你有一游泳池水的时候，你可以用它游泳。当你有一西湖水的话，你可以用它划船泡妹子。当你有一运河水的时候，你可以用它运粮食。当你有一长江水的时候，,你可以来往于中国的西部和东部。,当你有一大西洋水的时候，,你就可以发现新大陆了！,内容提要,大数据：,真的是大忽悠吗？,科学研究与统计分析：,从公式到范式。,统计之道：,频率贝叶斯,-,回归自然！,2009,科学研究与统计分析：,从公式到范式。,千年前,百年前,十年前,目前,日心说,三大定律,模拟仿真,云计算,用的人越来越简单；（傻）,做的人越来越复杂。（智慧）,一进：计算机摆放的位置,腿上,笔记本,掌上,-,手机,桌上,台式机,脸上,-,？,一退：,人,人类手,指,指的功,能,能,钢笔,3,个指头,屏幕,-2,个大拇,指,指,毛笔, 4,个指头,无指办,公,公,-,语音识,别,别,Bradley Efron,：,Future ofIndirect Evidence,2010,JAMES,STEIN ESTIMATION,Bradley Efron,：,Future ofIndirect Evidence,LARGE-SCALE MULTIPLEINFERENCE,科学研究与,统,统计分析：,从公式到范,式,式。,2010,上上个世纪,-B,时代,贝叶斯,上个世纪,-F,时代,频率学派,本世纪,- B-F,时代,经验贝叶斯,内容提要,大数据：真的是大忽,悠,悠吗？,科学研究与,统,统计分析：,从公式到范,式,式。,统计之道：,频率贝叶斯,-,回归自然！,自然科学的,确,确定性,数,学,欧拉,LEuler,1707,1783,物,理,E = MC,2,爱因斯坦,Albert Einstein,(1879-1955),有规律 发,现,现规律,最美的公式,最残忍的公,式,式,没有规律,创,创造规律,经济问题的,不,不确定性,摸着石头过,河,河,社会科学的,复,复杂性,“,白骨精”,的,的第,三,种能力,Statistical thinking,统计：最黄色（,SEX,）的专业,H. G.Wells,Statistical thinkingwillone day beas necessary for efficient citizenshipas the abilitytoreadandwrite!,统计思维：,至理名言,时间机器,（,The Time Machine, 1895,年）,隐形人,（,The Invisible Man,，,1897,年）,星际战争,（,The War oftheWorlds,，,1898,年）,最早登上月,球,球的人,（,The FirstMen in theMoon,，,1901,年）,统计思维：,统,统计与科幻,东西方,思维 的差,距,距,贝叶斯统计,思,思维：中西,方,方的融合,Bayes Theoremin the 21st Century,Bradley Efron,Departmentof Statistics,StanfordUniversity, Stanford, CA94305, USA.,The term controversial theorem soundslikean oxymoron, but,Bayes, theoremhas playedthispartfortwo-and-a-halfcenturies.Twice ithas soaredto scientificcelebrity,twice ithas crashed, and itis currently enjoying anotherboom.Thetheorem itselfis alandmark of logicalreasoningand the first serious triumphof statisticalinference,yetis still treated with suspicion bymoststatisticians.Therearereasons tobelieve in thestaying powerof its currentpopularity, butalsosomesigns oftrouble ahead.,2013,年,6,月,科学与统,计,计,我的管理,之,之道很简,单,单：,贝叶斯思,维,维,RiskandUncertaintyinMonetaryPolicy,AlanGreenspan Vol.94,No.2, May 2004,金融与统,计,计,18,世纪的贝叶斯定,理,理成为,Google,计算的新,力,力量,信息与统,计,计,确定性问,题,题：奥数,(,不能用方,程,程,),（对青少,年,年的影响,：,：）,小学生的,例,例子：鸡兔同笼,问,问题,。,土豪解法,：,：,让鸡一屁,股,股坐下来,（,（微信）,不,确,确,定,定,性,性,问,问,题,题,：,：,一,艘,艘,船,船,上,上,，,，,牛,牛,99,只,，,，,羊,羊,44,只,，,，,船,船,长,长,多,多,大,大,？,？,中,学,学,生,生,的,的,例,例,子,子,：,：牛,羊,羊,与,与,船,船,长,长,。,上,海,海,奥,奥,数,数,班,班,全,全,班,班,同,同,学,学,统,统,一,一,答,答,案,案,：,：,99-44=55,岁,外,国,国,专,专,家,家,的,的,题,题,不,不,会,会,错,错,：,：,（,（,做,做,不,不,出,出,对,对,不,不,起,起,老,老,师,师,）,）,；,；,要,用,用,数,数,学,学,方,方,法,法,（,（,乘,乘,法,法,离,离,谱,谱,，,，,加,加,法,法,太,太,大,大,，,，,除,除,法,法,太,太,小,小,）,）,船,长,长,有,有,胡,胡,子,子,；,；,（,与,与,生,生,俱,俱,来,来,的,的,贝,贝,叶,叶,斯,斯,思,思,维,维,，,，船,长,长,太,太,太,太,多,多,大,大,？,？,）,）,如,果,果,一,一,个,个,班,班,级,级,100,人,，,，,只,只,有,有,2,个,人,人,的,的,身,身,高,高,数,数,据,据,，,，全,班,班,的,的,平,平,均,均,身,身,高,高,是,是,多,多,少,少,？,？,大,学,学,生,生,的,的,例,例,子,子,：,：,2,个,人,人,的,的,身,身,高,高,频,率,率,学,学,派,派,：,：,加,权,权,平,平,均,均,；,；,几,几,何,何,平,平,均,均,；,；,Bootstrap,统,计,计,思,思,维,维,贝,叶,叶,斯,斯,学,学,派,派,：,：,收,集,集,身,身,高,高,之,之,外,外,的,的,信,信,息,息,性,别,别,、,、,地,地,域,域,、,、,籍,籍,贯,贯,、,、,专,专,业,业,北,京,京,理,理,工,工,平,平,均,均,身,身,高,高,广,西,西,理,理,工,工,统,计,计,思,思,维,维,统,计,计,思,思,维,维,广,西,西,的,的,葱,葱,北,京,京,的,的,进,一,一,步,步,：,：,身,身,高,高,与,与,专,专,业,业,的,的,关,关,系,系,财,政,政,金,金,融,融,平,平,均,均,身,身,高,高,统,计,计,学,学,院,院,？,？,统,计,计,思,思,维,维,定,量,量,数,据,据,科,学,学,定,性,性,先,验,验,艺,术,术,统,计,计,学,学,是,是,什,什,么,么,？,？,大,数,数,据,据,小,结,结,论,论,贝,叶,叶,斯,斯,统,统,计,计,推,推,断,断,是,是,什,什,么,么,？,？,数,据,据,结,论,论,计,算,算,先,验,验,信,息,息,先,验,验,是,是,否,否,可,靠,靠,、,、,科,科,学,学,？,？,无,论,论,圈,圈,再,再,大,大,，,，,圈,外,外,一,一,定,定,比,比,圈,圈,内,内,大,大,如,果,果,一,一,枚,枚,硬,硬,币,币,被,被,连,连,续,续,抛,抛,100,次，每,次,次都是,正,正面朝,上,上，那,么,么，抛,第,第,101,次时，,正面朝,上,上的概,率,率是多,少,少？,先验,经典（,频,频率）,统,统计学,观,观点的推断,50%,贝叶斯,统,统计学,观,观点则,认,认为：,第,101,次时正面朝上的,概,概率会大大高,于,于,50%,100,次连续,正,正面朝,上,上，,证明该,硬,硬币不,均,均衡或,两,两面均,为,为正面,。,。,理想状,态,态：独,立,立,真空,现实,思考,频率统,计,计学：,客,客观,、,、科学,、,、,贝叶斯,统,统计学：主观,、,、唯心,、,、先,验,验,为什么,我,我们有,时,时,不能用,频,频率的,思,思想,很多复,杂,杂问题,仅有科,学,学是不,够,够的（艺术,、,、哲学,、,、宗教,、,、邪教,）,）,很多问,题,题没法,靠,靠“投,硬,硬币”,解,解决,Bayesianinference,isused allthetimeineverydaylife,：,What arethechances,that Igainfrom thisinvestment,that it willraintomorrow,that Iamstillaliveaftercrossingthisroad ,升,官,发,财,无法重,复,复试验,，,，机会,只,只有几,次,次,先验,盲人摸,象,象,不同人,不,不同角,度,度,常人看,图,图,相同人,相,相同角,度,度,家庭背,景,景,成长地,域,域,学习过,程,程,工作经,历,历,人际交,往,往,（正确,或,或,错,错误）,经,验,先,验,结合实,际,际,小到持,家,家,（毛,&,邓）,大到治,国,国,(,胡,&,习,),决策,贝叶斯,主,主义“,悖,悖论”,无论你,是,是否相,信,信贝叶,斯,斯理论,，,，你都,是,是一个,贝,贝叶斯,主,主义者,。,。,不相信,，,，为什么,不,不相信,，,，（理,由,由有,）,但无论,理,理由有,多,多充分,，,，你都,无,无法回,避,避：,“不相,信,信”本,身,身也是,一,一种你,头,头脑中,的,的“先,验,验”！,而且，,“,“不相,信,信”的,程,程度要,比,比“相,信,信”更,严,严重,爱 与,恨,恨,相,相比：,爱,爱只会,心,心痛，,恨,恨可能,要,要命,相信，显然；,人的最,重,重要的,一,一种能,力,力,处理不,确,确定性,绞尽脑,汁,汁,从不确,定,定性中,寻,寻找,“,很可能,”,统计思,维,维：把,不,不可能,变,变成可,能,能,MCMC,与千岛,湖,湖：,统计、,计,计算机,与,与艺术,参见：,MCMC,的发展与现代,贝,贝叶斯,的,的复兴,2014,（,02,），统,计,计与信,息,息论坛,总结,贝叶斯,与,与频率,的,的融合,复杂与,简,简单的,融,融合,统计与,计,计算机,的,的融合,不久的,将,将来，,高等数,学,学会变,成,成“甲,骨,骨文”,；,；（博,物,物馆）,统计,会,会变,成,成职,能,能机,的,的一,个,个集,成,成模,块,块；,（左,脚,脚离,合,合）,最流,行,行的,专,专业,：,：旅,游,游系,（,（爸,爸,爸去,哪,哪,?,）,音乐,系,系（,中,中国,好,好声,音,音！,）,）,大胆,猜,猜测,（,（）,【TED,】,】,美国,（,（,2009,）,人人,学,学统,计,计,间接,证,证据,（,1934,年,-2005,年）,陳希,孺,孺,中,中國,科,科學,院,院院,士,士,ArnoldZellner,（,1927-2010,）,TheUniversityofChicago,https:/bayes-,致谢,：,：贝,叶,叶斯,“,“传,道,道士,”,”,美国,科,科学,院,院院,士,士、,Duke,大学,JamesO.Berger,AndrewGelman,ColumbiaUniversity,Xiao-LiMeng,HarvardUniversity,https:/bayes-,致谢,：,：贝,叶,叶斯,“,“传,道,道士,”,”,茆诗,松,松（,华,华东,师,师范,大,大学,）,）,王静,龙,龙（,华,华东,师,师范,大,大学,）,）,https:/bayes-,致谢,：,：贝,叶,叶斯,“,“传,道,道士,”,”,袁卫,（,（中,国,国人,民,民大,学,学）,吴喜,之,之（,中,中国,人,人民,大,大学,）,）,https:/bayes-,致谢,：,：贝,叶,叶斯,“,“传,道,道士,”,”,简里,里,里：,3+3+3,在座,未,未来,的,的杜,拉,拉拉,门,门：,离计,算,算机,、,、统,计,计近,些,些，,离数,学,学远,些,些。,演讲,完,完毕,，,，谢,谢,谢观,看,看！,
展开阅读全文