Hugetable技术培训教材

技术培训,2016年1月,大数据平台,技,技术概述,批处理型大,数,数据技术：,适合利用大,规,规模集群处,理,理海量规模,数,数据，一般,并,并发度较低,，,，任务响应,时,时间为分钟,或,或小时级；,相关技术：,、,、,实时/准实,时,时型大数据,技,技术：,集群规模可,大,大可小，处,理,理交互式或,高,高并发任务,，,，响应时间,在,在毫秒或秒,级,级别；,相关技术：,、,、,混合型：,设计上试图,同,同时满足上,述,述两种类型,数,数据处理要,求,求，可能需,要,要克服一定,的,的技术瓶颈,；,；,相关技术：,、,、,基础,基础,HT,架构,HT,组件,通用处理模块,元数据管理模块,DDL,&DML,处理模块,HBase,表模块,存储引擎模块,索引模块,智能路由模块,HT,用户模型,HT,权限模型,基础,基础,HT,架构,HT,组件,通用处理模块,元数据管理模块,DDL,&DML,处理模块,HBase,表模块,存储引擎模块,索引模块,智能路由模块,HT,用户模型,HT,权限模型,架构,定义：,存储和管理,大,大规模结构,化,化数据的数,据,据仓库系统,，,，实现对应,用,用数据集的,模,模型定义、,存,存储组织、,索,索引、查询,和,和统计分析,功,功能。,数据存储和,管,管理：主要,使,使用存储引,擎,擎；支持海,量,量结构化、,半,半结构化数,据,据的存储和,管,管理。,数据导入导,出,出：采用分,布,布式加载工,具,具，未来集,成,成进实现。,功,功能的一部,分,分。,数据统计分,析,析：提供92兼容的查,询,询接口、基,本,本统计能力,，,，并行分析,。,。集成多种,开,开源查询引,擎,擎，并支持,基,基于代价查,询,询优化。,系统管理：,集,集成的系统,监,监控、数据,管,管理、用户,管,管理、日志,和,和告警等。,数据备份恢,复,复：支持高,性,性能的数据,库,库/表备份,和,和恢复。,基础,基础,HT,架构,HT,组件,通用处理模块,元数据管理模块,DDL,&DML,处理模块,HBase,表模块,存储引擎模块,索引模块,智能路由模块,HT,用户模型,HT,权限模型,组件,自动化部署,工,工具,导入导出工,具,具,编译打包工,具,具,加,载,载,工,工,具,具,自,动,动,化,化,测,测,试,试,工,工,具,具,开,发,发,者,者,工,工,具,具,包,包,一,致,致,性,性,检,检,验,验,工,工,具,具,外,围,围,工,工,具,具,SQL,引擎,Scan,MR,关,系,系,型,型,数,数,据,据,库,库,分,布,布,式,式,文,文,件,件,系,系,统,统,分,布,布,式,式,监,控,控,/,管,理,理,元,数,数,据,据,存,存,储,储,索,引,引,存,存,储,储,查,询,询,能,能,力,力,存,储,储,能,能,力,力,数,据,据,存,存,储,储,组,件,件,元,元,数,数,据,据,管,管,理,理,模,模,块,块,组,件,件,&,处,处,理,理,模,模,块,块,备,份,份,还,还,原,原,建,表,表,、,、,建,索,索,引,引,/,权,限,限,管,管,理,理,用,户,户,管,管,理,理,自,定,定,义,义,、,、,处,处,理,理,模,模,块,块,，,，,这,这,部,部,分,分,主,主,要,要,处,处,理,理,自,自,定,定,义,义,的,的,命,命,令,令,，,，,可,可,以,以,灵,灵,活,活,添,添,加,加,修,修,改,改,。,。,模,块,块,引,引,擎,擎,表,表,模,模,块,块,索,引,引,查,查,询,询,读,取,取,：,：,的,核,核,心,心,模,模,块,块,，,，,主,主,要,要,工,工,作,作,是,是,表,表,的,的,增,增,、,、,删,删,改,改,、,、,查,查,，,，,导,导,入,入,等,等,。,。,导,入,入,：,：,组,件,件,存,存,储,储,引,引,擎,擎,模,模,块,块,为,了,了,满,满,足,足,不,不,同,同,应,应,用,用,领,领,域,域,对,对,数,数,据,据,存,存,储,储,的,的,要,要,求,求,，,，,在,在,提,提,供,供,统,统,一,一,访,访,问,问,接,接,口,口,的,的,前,前,提,提,下,下,，,，,底,层,层,支,支,持,持,多,多,种,种,特,特,性,性,不,不,同,同,的,的,数,数,据,据,存,存,储,储,引,引,擎,擎,。,。,引擎名称特点适合场景,(),纯文本格式；原始文件可直接入库，支持,多种压缩算法。,入库效率要求高；数据在多应用间共享，且其,他应用要求文本存储。,(),行-列混合存储方式；支持多种压缩算法。,对数据入库压缩比有较高要求；数据查询针对,特定列执行。,(),对数据局部排序的行存引擎，支持多种压,缩方法；支持丰富的索引机制。,同时具有精确定位和海量数据分析需求的场景。,数据实时入库，保证行级的数据一致性，,具有一定的幵发能力。,数据有需求，且幵发用户较多的场景。,组,件,件,索,索,引,引,模,模,块,块,1(,(,),),部,分,分,详,详,单,单,类,类,应,应,用,用,要,要,求,求,在,在,短,短,时,时,间,间,内,内,获,获,取,取,对,对,海,海,量,量,数,数,据,据,的,的,精,精,确,确,匹,匹,配,配,查,查,询,询,结,结,果,果,，,，,现,现,有,有,开,开,源,源,数,数,据仓,库,库系,统,统系,统,统无,法,法满,足,足。,(),1349938852329,13500000004,0001,1024,1349938852329,13500000004,0001,1024,1349938856770,13500000049,0002,2048,1349938856770,13500000049,0002,2048,1349938854397,13500000108,0001,512,1349938854397,13500000108,0001,512,1349938855275,13500000127,0003,128,1349938855275,13500000127,0003,128,组件,智,智,能,能路,由,由模,块,块概,述,述,模块,开发,：,：,以的,作,作,为,为基,础,础，,进,进行,开,开发,通过,、,、,等,等扩,展,展机,制,制对,进,进行,扩,扩展,处理,对,对象,：,：,主要,用,用于,高,高并,发,发索,引,引查,询,询和,操,操作,所有,扩,扩展,的,的语,法,法通,过,过,进,进,行,行处,理,理,结果,处,处理,：,：,返回,的,的结,果,果通,过,过适,配,配，,转,转换,成,成一,致,致的,结,结果,基础,基础,HT,架构,HT,组件,通用处理模块,元数据管理模块,DDL,&DML,处理模块,HBase,表模块,存储引擎模块,索引模块,智能路由模块,HT,用户模型,HT,权限模型,用户,模,模型,用户,管理员用户,普通用户,数据库,Owner,普通使用者,MN,用户,管,管理,示,示,例,例,创建,用,用户/角,色,色,修改,密,密码,修改,数,数据,库,库所,有,有者,身,身份,|;,;,;,;,|;,用户管理,示,例,例,查看所有,用,用户和角,色,色,;,|,|2|,|U1|9|,2(0.229),;,|,|R1|,|,2(0.046),基础,基础,HT,架构,HT,组件,通用处理模块,元数据管理模块,DDL,&DML,处理模块,HBase,表模块,存储引擎模块,索引模块,智能路由模块,HT,用户模型,HT,权限模型,权限模型,权,限,限结构,权限,系统权限,对象权限,DB1,DB2,DB,DB(n),权限模型,权,限,限授予/,回,回收方式,权限,直接授权,/,收回,间接授权,/,收回,Role1,Role2,Role,RoleN,User1,UserN,权限模型,系,统,统权限,权限模型,系,统,统权限语,法,法,语法,示例,赋予系统,权,权限,.;,;,收回系统,权,权限,.;,;,*当用户,名,名为全数,字,字时，请,在,在引用用,户,户名时使,用,用双引号,;,1;,1;,2;,权限模型,对,象,象权限,权限模型,对,象,象权限语,法,法,语法,示例,赋予对象,权,权限,.,.;,.;,收回对象,权,权限,.,.;,.;,|,.,11;,11;,T22;,T31;,权限管理,查,看,看权限,查看被赋,予,予的系统,权,权限,语法,示例,;,;,|,|,|U1|()|,|()|,3(0.127),权限管理,查,看,看权限,查看被赋,予,予的对象,权,权限,语法,示例,|;,.,;,(0.002),t1u1;,(0.01),;,|,|U1|1|,1(0.129),用户权,限,限说明,是中的,一,一个特,殊,殊的角,色,色，所,有,有用户,都,都隐式,的,的拥有,角,角色所,拥,拥有的,所,所有权,限,限；,只有数,据,据库管,理,理员（,）,）可,以,以将系,统,统权限,赋,赋予其,他,他用户,或,或从其,他,他用户,收,收回系,统,统权限,。,。,数据库,拥,拥有者,（,（）,可,可以赋,予,予或收,回,回其所,拥,拥有的,数,数据库,内,内的数,据,据库对,象,象的对,象,象权限,。,。,管理员,默,默认拥,有,有所有,系,系统权,限,限和对,象,象权限,；,；数据,库,库所有,者,者默认,拥,拥有其,下,下数据,库,库内的,所,所有数,据,据库对,象,象上的,所,所有对,象,象权限,。,。,负责创,建,建和管,理,理连接,，,，对于,每,每次连,接,接请求,，,，根,据,据找到,相,相应的,进,进行连,接,接。,是运行,在,在客户,端,端用来,转,转换,和,和下层,数,数据库,协,协议的,适,适配器()。,用,用户的,程,程序可,以,以通过,标,标准的,访,访问,中,中的数,据,据。,认证,数据库,对,对象管,理,理,获取列,表,表,创建,删除,获取的,列,列表,获取的,写操作,服务状,态,态管理,获取服,务,务状态,更改服,务,务状态,统计信,息,息查询,获取系,统,统级别,统,统计信,息,息,获取服,务,务级别,统,统计信,息,息,配置信,息,息管理,获取服,务,务器配,置,置,设置服,务,务器配,置,置,认,认证,认证,在消息,头,头中必,须,须有以,下,下的消,息,息头：,：发起,操,操作的,时,时间，,按,按照“,dz”,的,的格式,发,发送数,据,据。,：用于,认,认证。,客,客户端,在,在发送,请,请求前,，,，使用,“,“用户,名,名/密,码,码”计,算,算出头,部,部的值,。,。值的,格,格式为,“,“”,。,。为认,证,证方法,，,，目前,支,支持的,为,为“”,。,。,为用户,名,名；为5(密,码,码),当一个,消,消息到,达,达 的,时,时候，,会,会首先,判,判断字,段,段值是,否,否合法,，,，如果,格,格式合,法,法，并,且,且与系,统,统当前,时,时间的,时,时间差,在,在300s之,内,内，则,认,认为该,消,消息有,效,效，之,后,后需要,根,根据消,息,息头中,的,的信息,，,，取得,该,该用户,对,对应的,密,密码重,新,新计算,一,一遍，,如,如果计,算,算得到,的,的与消,息,息头中,的,的一致,，,，则认,为,为通过,认,认证，,否,否则认,为,为认证,失,失败。,:,23 2011 09:13:07,示,例,例1,服务状,态,态管理-,例,例,获取系,统,统所有,服,服务，,以,以及服,务,务的状,态,态,内容：,1.1,:,:,23201109:13:07,:,:,示,例,例1,服务状,态,态管理-,例,例,返回系,统,统所有,服,服务，,以,以及服,务,务的状,态,态,内容：,1.1200,:,.,是的系,统,统组件,之,之一，,实,实现系,统,统的告,警,警信息,采,采集和,上,上报功,能,能。,所做的,工,工作有,定义,定义消,息,息标识,、,、消息,内,内容,将定