空间大数据概述

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2016/5/5,#,空间大数据,目录,一、,大数,据,据,的涵,义,义与,研,研究,意义,二、,与,与空,间,间信,息,息和,位,位置,相,相关,的,的大数据,三、,空,空间,大,大数,据,据的应用,四、,空,空间,大,大数,据,据的存储,五、,总,总结,一、,大数据,的涵,义,义与,研究,意,意义,大数据,：,大型,复,复杂,数,数据,集,集的,聚,聚合,，,，这,些,些数,据,据集,的,的规,模,模和,复,复杂,程,程度,常,常超,出,出目,前,前数,据,据库,管,管理,软,软件,和,和传,统,统数,据,据处,理,理技,术,术在,可,可接,受,受时,间,间下,的,的获,取,取、,管,管理,、,、检,索,索、,分,分析,、,、挖,掘,掘和,可,可视,化,化能,力,力,。,一、,大数据,的涵,义,义与,研究,意,意义,大数据,的,的,特点,：,：,）,Volume,（体量大）,：,：大,量,量,TB,级以上,已,已有的数,据,据等待处理,；,；,）,Velocity,（速,度,度快,）,）：,需,需要响应以,s,甚至,ms,计的流,数,数据,不,不断产生,；,；,）,Variety,（模,态,态多,样,样）,：,：数,据,据来源,和,和类,型,型繁多,文,文本,、,、图,片,片、,视,视频等结,构,构化,和,和非,结,结构,化,化数,据,据并存,；,；,）,Veracity,（真,伪,伪难辨）,：,：由,于,于数据,的,的噪音,、,、缺,失,失、,不,不一,致,致性,、,、歧,义,义等引,起,起的,数,数据不确,定,定性,；,；,）,Value,（价,值,值）,：,：大数据,使,使得,人,人们,以,以前所,未,未有的维,度,度量,化,化和,理,理解世界,，,，蕴,含,含了巨,大,大的价值,，,，大,数,数据的终,极,极目,标,标在,于,于从,数,数据,中,中挖,掘,掘价值,。,。,大数据,的,的核,心,心：,预,预测,一、,大数据,的涵,义,义与,研究,意,意义,研究,大数,据,据的,意义,：,：,科学,进,进步,图灵,奖,奖获,得,得者吉姆格雷提,出,出,：,大数据,是,是科,学,学研,究,究的,第,第四范式,，,是从计,算,算密,集,集型,科,科研,发,发展,到,到以,大,大数,据,据为,基,基础,的,的数,据,据密,集,集型,科,科研方法,。,科学实验,模型归纳,模拟仿真,数据密集型,科学,研,研究,方,方法,的,的发,展,展,真正,的,的革,命,命并,不,不发,生,生在,分,分析,数,数据,的,的机,器,器，,而,而在,于,于数,据,据本,身,身和,我,我们,如,如何,运,运用,数,数据,。,。,一、,大数据,的涵,义,义与,研究,意,意义,研究,大数,据,据的,意义,：,：,社会,变,变革,2009,至今,美,美国,政,政府,全,全面,开,开放,了,了,40,万联,邦,邦政,府,府原,始,始数,据,据集,。,。大,数,数据,已,已成,为,为美,国,国国,家,家创,新,新战,略,略、,国,国家,安,安全,战,战略,、,、国,家,家,IT,产业,发,发展,战,战略,以,以及,国,国家,信,信息,网,网络,战,战略,的,的交,叉,叉领,域,域、,核,核心领域,。,21,世纪,数,数据,的,的价,值,值有,可,可能,等,等同,于,于,20,世纪,的,的石,油,油，,大,大数,据,据研,究,究使,得,得人,们,们降,低,低了,对,对因,果,果关,系,系的,渴,渴求,，,，而,关,关注,相,相关,关,关系,。,。只,需,需要,知,知道,是,是什,么,么，,而,而不,需,需知,道,道为,什,什么,。,。这,将,将使,得,得理,解,解现,实,实和,做,做决,定,定的,基,基础,也,也将,受,受到,根,根本,性,性挑战,。,社会,价值,一、,大数据,的涵,义,义与,研究,意,意义,研究,大数,据,据的,意义,：,：,经济,增,增长,新的职业,新的企业,新的应用,新的产值,二、,与空间,信,信息,和,和位,置,置相,关,关的,大,大数,据,据,指直,接,接或,间,间接,关,关联着相,对,对于地,球,球的,某,某个,地,地点,的,的数,据,据，,包括自然,地,地理数据,和社会,经,经济,数,数据,。,。,空间,媒,媒体,数,数据,地理,数,数据,轨迹,数,数据,包含,位,位置,的,的数,字,字化,的,的文字,、,、图,形,形、图像,、,、视,频,频影,像,像等媒体,数,数据，主,要,要来源,于,于移,动,动社,交,交网,络,络、微博等,新,新型,互,互联,网,网应,用,用,指通,过,过,GNSS,等测,量,量手,段,段以,及,及网,络,络签,到,到等,方,方法,获,获得,的,的用,户,户活,动,动数,据,据，,可,可以,被,被用,来,来反,映,映用,户,户的,位,位置,和,和用,户,户的,社,社会,偏,偏好,。,。,位置,大,大数,据,据的,分,分类,二、,与空,间,间信,息,息和,位,位置,相,相关,的,的大,数,数据,地理,数,数据,内容,：,：土,地,地覆,盖,盖类,型,型数,据,据、,地,地貌,数,数据,、,、土,壤,壤数,据,据、,水,水文,数,数据,、,、植,被,被数,据,据、,居,居民,地,地数,据,据、,河,河流,数,数据,、,、行,政,政境,界,界及,社,社会,经,经济,方,方面,的,的数,据,据等。,特点,：,：数,据,据体,量,量大,、,、较,为,为规,则,则化,、,、变,化,化较慢。,二、,与空,间,间信,息,息和,位,位置,相,相关,的,的大,数,数据,轨迹,数,数据,内容,：,：个,人,人轨迹,数,数据,、,、群,体,体轨,迹,迹数,据,据、,车,车辆,轨,轨迹,数,数据,等,等,特点,：,：数,据,据体量,大,大、,信,信息,碎,碎片,化,化、,准,准确,性,性较,低,低、,半,半结,构,构化,出租,车,车轨,迹,迹数,据,据示,例,例,二、,与空,间,间信,息,息和,位,位置,相,相关,的,的大,数,数据,空间,媒,媒体,数,数据,内容：互,联,联网,图,图像,视,视频数据、社交网络,数,数据,在线电子,商,商务数据,、,、城,市,市监控,摄,摄像,头,头数,据,据,特点,：,：数据,来,来源,混,混杂,、,、数,据,据异,构,构性,大,大、,数,数据价值,密度低，实时性强,二、,与空间信,息,息和位置,相,相关的大,数,数据,社会交流,、,、个性化,信,信息推送、,驾驶安全、智,能,能驾驶,为个人生,活,活服务,城市规划,、,、疾病控,制,制、智能交通、,节能减排、环,境,境保护、,应,应急响应,企业调度,、,、门店选,址,址、广告推送、位,置,置营销,为企业经,济,济服务,为城市运,行,行服务,位置大数,据,据的作用,三、空间,大数据的,应,应用,1.,空间大数据与,智,智能交通,Inrix,是美国的,一,一家交通,数,数据处理,公,公司，也是,全球领先的道,路,路交通信,息,息和驾驶,员,员服务供,应,应商,。,他们设计的,APP,是一款致,力,力于为全,球,球交通问,题,题带来智,能,能数据和,先,先进的分,析,析方法的,交,交通智能,化,化平台。,三、空间,大数据的,应,应用,利用大数,据,据预判未,来,来交通信,息,息和路况,是,是核心,2012,年英国伦,敦,敦奥运会利用,INRIX,软件和在,线,线服务确,保,保交通顺,畅,畅,;,在美国有,超,超过,25,个州的交,通,通部门使,用,用,INRIX,数据辅助,交,交通管理。,三、空间,大,大数据的应,用,用,2015,年,2,月,11,日,，,国内智能交通,行,行业领军,企,企业北京,千,千方科技,股,股份有限,公,公司与,INRIX,签署战略合作,协,协议。,千方科技在,国,国内智能,交,交通行业,具,具有深厚,的,的理解和,市,市场、技,术,术积累，,INRIX,在欧美地,区,区具有成,熟,熟的交通,信,信息化解,决,决方案和,先,先进理念,。,。双方将,结,结合各自,的,的优势，,整,整合交通,信,信息化及,数,数据分析,解,解决方案,和,和产品，,共,共同拓展,智,智能交通,行,行业市场，双方将在交通,大,大数据分,析,析、增值,挖,挖掘、交,通,通仿真等,技,技术方向,深,深度交流,，,，提升双,方,方专业化,及,及技术能,力,力。,不过，由于涉,及,及国内职,能,能部门的,数,数据保护,问,问题，国,内,内手机用,户,户还未能,够,够体验这,款,款,App,。,三、空间大数据的应,用,用,2.,空间大数,据,据与社会,生,生活,2014,年春节期间，百度地图定,位,位可视化,大,大数据播报的国,内,内春节人口,迁,迁徙情况。,2015,年最近一,周,周南京夫,子,子庙景区,热,热力图,三、空间大数据的应,用,用,3.,空间大数据与,应,应急管理,2013,年,4,月,15,日，波士,顿,顿马拉松,爆,爆炸案事,发,发几小时,内,内，数以,千,千计的在,场,场群众将,事,事发现场,拍,拍摄的照,片,片和视频,放,放到了公,共,共网络平,台,台上，这,些,些照片和,视,视频图像,来,来自各种,相,相机，手,机,机和平板,电,电脑。不,到,到一天时,间,间，嫌犯,被,被确认并,在,在纽约被,抓,抓获,这是一种典,型,型的利用,空,空间社会,媒,媒体的位,置,置大数据,与,与反犯罪,机,机构的专,业,业能力结,合,合，建立,的,的城市安,全,全与应急,新,新体制,位置大数,据,据研究涉,及,及到数据,采,采集、数,据,据处理、,计,计算和存,储,储以及可,视,视化等一,套,套完整的,方,方法体系,数据采集,泛在测绘,数据分析,重数据,轻算法,数据存储,NOSQL,数据表达,可视化,四、,空间大数据的,存,存储,四、,空间大数据的,存,存储,海量数据,的,的高效存,储,储,支持丰富,的,的数据类,型,型,处理速度,快,快,数据库应,当,当易于扩,展,展,大数据下,对,对于数据,库,库的需求,四、空间大数据的,存,存储,CAP,NOSQL,BASE,不保证遵,循,循,ACID,原则,分布式的,非关系型,的,的,四、,位置大数,据,据的存储,必须保证,两者权衡,一致性,可用性,分区容 错,性,性,BASE,四、,空间大数据的,存,存储,灵活,高可用性,高性能,易扩展,NoSQL,数据库的,特,特点,四、,空间大数据的,存,存储,Key-value,型,文档型,图形数据,库,库,列式存储,四、,空间大数据的,存,存储,定义一个,大,大的有序,结,结,构数组,HashValuem,，,用来存放,各,各信息,查询,哈希表,哈希函数,当查询的,时,时候,再使用哈,希,希函数,得到这个,下,下标值,编写一个,哈,哈希函数,将,将关键值,的,的名字转,换,换为,HashValuem,中的某个,下,下标值,x,Key-value,型,四、,空间大数据的,存,存储,文档,集合,数据库,集合就是,一,一组文档,。,。,集合是无,模,模式的。,多个文档,组,组成集合,多个集合,数,数据库。,它包含多,个,个键,/,值对,文档中的,键,键,/,值对是,有序的,文档型数,据,据库,四、,空间大数据的,存,存储,四、,空间大数据的,存,存储,四、,空间大数据的,存,存储,分类,Examples,举例,典型应用场景,数据模型,优点,缺点,键值（,key-value,）,Tokyo Cabinet/Tyrant,Redis,Voldemort,Oracle BDB,内容缓存，主要用于处理大量数据的高访问负载，也用于一些日志系统等等。,Key,指向,Value,的键值对，通常用,hash table,来实现,查找速度快,数据无结构化，通常只被当作字符串或者二进制数据,列存储数据库,Cassandra,HBase,Riak,分布式的文件系统,以列簇式存储，将同一列数据存在一