时间序列数据库架构课件

,11/15/2018,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2018/11/15,#,时间序列数,据库架构,技术创,新,变革未来,时间序列数据库架构技术创新 变革未来,1,时序数据介绍,目录,时序数据的存储和分析,时序数据库,时序数据库的改进,时序数据库展望,目录,时序数据库的应用场景,面向分析的时序数据存储,时序数据库的时序算法,时序数据库的计算引擎,时序数据库展望,时序数据介绍目录时序数据库的应用场景,2,时序数据就是在时间上,分,布的,一,系列,数,值,例子：,股票价格,广告数据,气温变化,网站的,PV/UV,个人健康数据,工业传感器数据,服务器系统监控数据，,比如,：,cpu,和内存占用率,车联网,时序数据就是在时间上分布的一系列数值例子：,3,IoT,领域带来了海量的时间序列数据,成千上万的设备,数以百万计的传感器,每秒产生百万条数据,24x7全年无休,多维度查询,/,聚合,最新数据实时可查,IoT,中的时间序列数据处理,采样,传输,存储,分析,IoT,领域中的时间序列数据,IoT领域带来了海量的时间序列数据IoT领域中的时间序列数据,4,时间序列数据的一个例子,单值模型,多值模型,时间序列数据的一个例子单值模型多值模型,5,时间序列数据的一个,更,复杂,的,例子,现实世界的复杂之处：,未必是总是定时采样,时间线可能高度发散,主键和,sche,m,a,修改,分布式系统和片键,数据类型,需要对每个数据点的值做过滤,时间序列数据的一个更复杂的例子现实世界的复杂之处：,6,HiTSDB,存储架构,过去,倒排索引,高压缩比缓存,HiTSDB存储架构 过去倒排索引高压缩比缓存,7,HiTSDB,存储架构,优势和不足,优势,倒排索引可以很,方,便,的,筛选,设备,高压缩比缓存具,有,很,高,的写,入和读取能力,方便的时间切片,无,schema，,灵,活,方,便,的,支持,各种数据模型,不足,在非定时,采样场景,下,可能导,致,数据稀疏,值没有索,引，因此,值,过滤只,能,线性过滤,schema,改,动导致时间,线,变,动,广播,查,限,制,了,QPS,HiTSDB存储架构 优势和不足优势不足在非定时采样,8,HiTSDB,存储架构,演进,问题应对之道：,Adaptive,Schema,，,主键和片键,压缩块按照，引入,meta,index,，,记,录每个压缩块的时间段,参考列存的思路，值索引到压缩块,多值索引和空间切分,HiTSDB存储架构 演进问题应对之道：,9,时序数据加工和分析,降采样和插值,降采样算法,：min/max/avg,插值算法：补零,/,线性,/,贝塞尔曲线,聚合计算,逻辑聚合：min/max,算术聚合,：sum/count/avg,统 计：,histogram/percentile/Standard,Deviation,时间轴计算,变化率,：rate,时序数据加工和分析降采样和插值,10,异常检测,定义问题,固定两个维度，只考虑一个维度的数据,T:,only,consider,time,dim，,单一对象单一,metric（,即,单个时间序列,）：spikes,&,dips,、趋势,变,化、,范,围,变,化,M:,only,consider,metric，,找,出,不,符,合,metric,之,间相互 关系的数据,O:,only,consider,object，,找,出,与众,不,同,的,对象,固定一个维度，只考虑两个维度的数据,MT：,固定对象，,考,虑,多,个时,间,序,列,（,每,个对,应,一个,metric)，,并,找,出,其,相,互,变化,方,式,不,同的,作,为,异,常,MO,：不考虑时间,特,性,，,考虑,多,个,对,象且,每,个,对,象,都可以,用多个,metric,表,示,，,如何,从,中,找,出,不,同的,对,象,TO：,多个对象单,一,metric，,找,出变,化,趋,势,不同,的,对象,异常检测 定义问题固定两个维度，只考虑一个维度的数据,11,异常检测,面向问题,内置函数,高压缩比缓存直接作为窗口 缓存,对于满足数据局部性的问题,，直接在高压缩比缓存上运 行,结果直接写回,定时调度,vs,数据触发,外置计算,定时查询,vs,流式读取,使用同样的查询语言执行 查询或定义数据源,数据库内置时间窗口,数据流的触发机制,异常检测 面向问题内置函数外置计算,12,预计算,vs,后计算,数据存储量低,查询性能高,需要手工编写,计算过,程,新的计算无法,立即查,看,结,果,灵活性差,不保存原始数据,数据存储量大,查,询,/,聚合性能,瓶,颈,任何查询都可,以,随,时,获,得,结果,使,用,DSL,进行,查,询,灵活性好,保存原始数据,预计算 vs 后计算数据存储量低数据存储量大,13,混合架构,混合架构,14,一点细节,持续查询,一点细节持续查询,15,异构计算,异构计算,16,展望,未来架构,存储层,类似,lambda,架,构,，,基于,一,系,列,不,可,修改,的,文件,针对不同的场景提,供,不,同,的存,储,格式,计算层,流式架构，基于内,存,的,异,构计,算,，,自,动填,充,热,数,据,数据分片，支持高,QPS,读取,索 引,全局的索引,vs,文件局部索引,大数据,可以直接在大量的,文,件,上,跑,MR,，也,可,以,通,过高,压缩,比,缓存以流的方式订,阅,数据,展望 未来架构 存储层,17,展望,时序数据平台,大数据,SQ,L,生态,边缘融合,展望 时序数据平台大数据SQL生态边缘融合,18,时间序列数据库架构课件,19,