空间大数据

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2016/5/5,#,空间大数据,目录,一、大数据的涵义,与,与研究意义,二、与,空,空间信,息,息和位,置,置相关,的,的大数据,三、空,间,间大数,据,据的应用,四、空,间,间大数,据,据的存储,五、总,结,结,一、大数据的涵义,与,与研究意,义,义,大数据：大型复,杂,杂数据,集,集的聚,合,合，这,些,些数据,集,集的规,模,模和复,杂,杂程度,常,常超出,目,目前数,据,据库管,理,理软件,和,和传统,数,数据处,理,理技术,在,在可接,受,受时间,下,下的获,取,取、管,理,理、检,索,索、分,析,析、挖,掘,掘和可,视,视化能,力,力。,一、大数据的涵义,与,与研究意,义,义,大数据的特点：,）Volume（体量大）：,大,大量TB级以上已,有,有的数据等待处理；,）Velocity（速度,快,快）：,需,需要响应以s甚至ms计的流数,据,据不断产生；,）Variety（模态,多,多样）,：,：数据来源和,类,类型繁多文,本,本、图,片,片、视,频,频等结构,化,化和非,结,结构化,数,数据并存；,）Veracity（真伪难辨）：,由,由于数据的噪音、,缺,缺失、,不,不一致,性,性、歧,义,义等引起,的,的数据不确定,性,性；,）Value（价值,）,）：大数据使,得,得人们,以,以前所未,有,有的维度,量,量化和,理,理解世界，,蕴,蕴含了巨大,的,的价值，,大,大数据的终极,目,目标在,于,于从数,据,据中挖,掘,掘价值。,大数据的,核,核心：,预,预测,一、大数据的涵义,与,与研究意,义,义,研究大数据,的,的意义：科学进,步,步,图灵奖,获,获得者吉姆格雷提出：大数据是,科,科学研,究,究的第,四,四范式，是从计算,密,密集型,科,科研发,展,展到以,大,大数据,为,为基础,的,的数据,密,密集型,科,科研方法。,科学实验,模型归纳,模拟仿真,数据密集型,科学研,究,究方法,的,的发展,真正的,革,革命并,不,不发生,在,在分析,数,数据的,机,机器，,而,而在于,数,数据本,身,身和我,们,们如何,运,运用数,据,据。,一、大数据的涵义,与,与研究意,义,义,研究大数据,的,的意义：社会变,革,革,2009至今美,国,国政府,全,全面开,放,放了40万联邦,政,政府原,始,始数据,集,集。大,数,数据已,成,成为美,国,国国家,创,创新战,略,略、国,家,家安全,战,战略、,国,国家IT产业发,展,展战略,以,以及国,家,家信息,网,网络战,略,略的交,叉,叉领域,、,、核心领域。,21世纪数,据,据的价,值,值有可,能,能等同,于,于20世纪的,石,石油，,大,大数据,研,研究使,得,得人们,降,降低了,对,对因果,关,关系的,渴,渴求，,而,而关注,相,相关关,系,系。只,需,需要知,道,道是什,么,么，而,不,不需知,道,道为什,么,么。这,将,将使得,理,理解现,实,实和做,决,决定的,基,基础也,将,将受到,根,根本性挑战。,社会,价值,一、大数据的涵义,与,与研究意,义,义,研究大数据,的,的意义：经济增,长,长,新的职业,新的企业,新的应用,新的产值,二、与空间信,息,息和位,置,置相关,的,的大数,据,据,指直接,或,或间接,关,关联着相对于地球,的,的某个,地,地点的,数,数据，,包括自然地,理,理数据,和社会经,济,济数据,。,。,空间媒,体,体数据,地理数,据,据,轨迹数,据,据,包含位,置,置的数,字,字化的文字、,图,图形、图像、,视,视频影,像,像等媒体数,据,据，主要来源于,移,移动社,交,交网络、微博等新,型,型互联,网,网应用,指通过GNSS等测量,手,手段以,及,及网络,签,签到等,方,方法获,得,得的用,户,户活动,数,数据，,可,可以被,用,用来反,映,映用户,的,的位置,和,和用户,的,的社会,偏,偏好。,位置大,数,数据的,分,分类,二、与空间,信,信息和,位,位置相,关,关的大,数,数据,地理数,据,据,内容：,土,土地覆,盖,盖类型,数,数据、,地,地貌数,据,据、土,壤,壤数据,、,、水文,数,数据、,植,植被数,据,据、居,民,民地数,据,据、河,流,流数据,、,、行政,境,境界及,社,社会经,济,济方面,的,的数据等。,特点：,数,数据体,量,量大、,较,较为规,则,则化、,变,变化较慢。,二、与空间,信,信息和,位,位置相,关,关的大,数,数据,轨迹数,据,据,内容：,个,个人轨迹数,据,据、群,体,体轨迹,数,数据、,车,车辆轨,迹,迹数据,等,等,特点：,数,数据体量大,、,、信息,碎,碎片化,、,、准确,性,性较低,、,、半结,构,构化,出租车,轨,轨迹数,据,据示例,二、与空间,信,信息和,位,位置相,关,关的大,数,数据,空间媒,体,体数据,内容：互联,网,网图像,视,视频数据、社交网络数,据,据,在线电子商,务,务数据、,城,城市监控摄,像,像头数,据,据,特点：数据来,源,源混杂,、,、数据,异,异构性,大,大、数,据,据价值,密度低，实时性强,二、与空间,信,信息和,位,位置相,关,关的大,数,数据,社会交,流,流、个,性,性化信,息,息推送、,驾驶安全、,智,智能驾,驶,驶,为个人,生,生活服,务,务,城市规,划,划、疾,病,病控制,、,、智能交通、,节能减排、,环,环境保,护,护、应,急,急响应,企业调,度,度、门,店,店选址、广告推送、,位,位置营,销,销,为企业,经,经济服,务,务,为城市,运,运行服,务,务,位置大,数,数据的,作,作用,三、空间大数据,的,的应用,1.空间大数据,与,与智能,交,交通,Inrix是美国,的,的一家,交,交通数,据,据处理,公,公司，也是全球领先的,道,道路交,通,通信息,和,和驾驶,员,员服务,供,供应商。他们设计的APP是一款,致,致力于,为,为全球,交,交通问,题,题带来,智,智能数,据,据和先,进,进的分,析,析方法,的,的交通,智,智能化,平,平台。,三、空间大数据,的,的应用,利用大,数,数据预,判,判未来,交,交通信,息,息和路,况,况是核,心,心,2012年英国,伦,伦敦奥运会利用INRIX软件和,在,在线服,务,务确保,交,交通顺,畅,畅;在美国,有,有超过25个州的,交,交通部,门,门使用INRIX数据辅,助,助交通管理。,三、空,间,间大数据的,应,应用,2015年2月11日，国内智能交,通,通行业,领,领军企,业,业北京,千,千方科,技,技股份,有,有限公,司,司与INRIX签署战略合,作,作协议。,千方科技,在,在国内,智,智能交,通,通行业,具,具有深,厚,厚的理,解,解和市,场,场、技,术,术积累,，,，INRIX在欧美,地,地区具,有,有成熟,的,的交通,信,信息化,解,解决方,案,案和先,进,进理念,。,。双方,将,将结合,各,各自的,优,优势，,整,整合交,通,通信息,化,化及数,据,据分析,解,解决方,案,案和产,品,品，共,同,同拓展,智,智能交,通,通行业市场，双方将在交,通,通大数,据,据分析,、,、增值,挖,挖掘、,交,交通仿,真,真等技,术,术方向,深,深度交,流,流，提,升,升双方,专,专业化,及,及技术,能,能力。,不过，由于,涉,涉及国,内,内职能,部,部门的,数,数据保,护,护问题,，,，国内,手,手机用,户,户还未,能,能够体,验,验这款App。,三、空间,大,大数据的,应,应用,2.空间大,数,数据与,社,社会生,活,活,2014年春节期间，百度地图,定,定位可,视,视化大,数,数据播报的,国,国内春节人,口,口迁徙情况。,2015年最近,一,一周南,京,京夫子,庙,庙景区,热,热力图,三、空间,大,大数据的,应,应用,3.空间大数据,与,与应急,管,管理,2013年4月15日，波,士,士顿马,拉,拉松爆,炸,炸案事,发,发几小,时,时内，,数,数以千,计,计的在,场,场群众,将,将事发,现,现场拍,摄,摄的照,片,片和视,频,频放到,了,了公共,网,网络平,台,台上，,这,这些照,片,片和视,频,频图像,来,来自各,种,种相机,，,，手机,和,和平板,电,电脑。,不,不到一,天,天时间,，,，嫌犯,被,被确认,并,并在纽,约,约被抓,获,获,这是一种,典,典型的,利,利用空,间,间社会,媒,媒体的,位,位置大,数,数据与,反,反犯罪,机,机构的,专,专业能,力,力结合,，,，建立,的,的城市,安,安全与,应,应急新,体,体制,位置大,数,数据研,究,究涉及,到,到数据,采,采集、,数,数据处,理,理、计,算,算和存,储,储以及,可,可视化,等,等一套,完,完整的,方,方法体,系,系,数据采集,泛在测绘,数据分析,重数据,轻算法,数据存储,NOSQL,数据表达,可视化,四、空间大数据,的,的存储,四、空间大数据,的,的存储,海量数,据,据的高,效,效存储,支持丰,富,富的数,据,据类型,处理速,度,度快,数据库,应,应当易,于,于扩展,大数据,下,下对于,数,数据库,的,的需求,四、空间大数据,的,的存储,CAP,NOSQL,BASE,不保证,遵,遵循,ACID原则,分布式,的,的,非关系,型,型的,四、位置大,数,数据的,存,存储,必须保,证,证,两者权,衡,衡,一致性,可用性,分区容,错,错性,BASE,四、空间大数据,的,的存储,灵活,高可用,性,性,高性能,易扩展,NoSQL数据库,的,的特点,四、空间大数据,的,的存储,Key,-,-value型,文档型,图形数,据,据库,列式存,储,储,四、空间大数据,的,的存储,定义一,个,个大的,有,有序结,构数组HashValue,m，,用来存,放,放各信,息,息,查询,哈,希表,哈希函,数,数,当查询,的,的时候,再使用,哈,哈希函,数,数,得到这,个,个下标,值,值,编写一,个,个哈希,函,函数将,关,关键值,的,的名字,转,转换为HashValue,m中的某,个,个下标,值,值x,Key,-,-value型,四、空间大数据,的,的存储,文档,集合,数据库,集合就,是,是一组,文,文档。,集合是,无,无模式,的,的。,多个文,档,档组成,集,集合,多个集,合,合数据,库,库。,它包含,多,多个键/值对,文档中,的,的键/值对是,有序的,文档型,数,数据库,四、空间大数据,的,的存储,四、空间大数据,的,的存储,四、空间大数据,的,的存储,分类,Examples,举例,典型应用场景,数据模型,优点,缺点,键值（,key-value,）,Tokyo Cabinet/Tyrant,Redis,Voldemort,Oracle BDB,内容缓存，主要用于处理大量数据的高访问负载，也用于一些日志系统等等。,Key,指向,Value,的键值对，通常用,hash table,来实现,查找速度快,数据无结构化，通常只被当作字符串或者二进制数据,列存储数据库,Cassandra,HBase,Riak,分布式的文件系统,以列簇式存储，将同一列数据存在一起,查找速度快，可扩展性强，更容易进行分布式扩展,功能相对局限,文档型数据库,CouchDB,MongoDb,Web,应用（与,Key-Value,类似，,Value,是结构化的，不同的是数据库能够了解,Value,的内容）,Key-Value,对应的键值对，,Value,为结构化数据,数据结构要求不严格，表结构可变，不需要像关系型数据库一样需要预先定义表结构,查询性能不高，而且缺乏统一的查询语法。,图形,(Graph),数据库,Neo4J,InfoGrid,Infinite Graph,社交网络，推荐系统等。专注于构建关系图谱,图结构,利用图结构相关算法。比如最短路径寻址，,N,度关系查找等,很多时候需要对整个图做计算才能得出需要的信息，而且这种结构不太好做分布式的集群方案。,四、空间大数据,的,的存储,四、空间大数据,的,的存储,这便是,一,一