Spark大数据的实现及行业应用案例

,目录,联合实验室,大数据分析平台,产品技术架构,典型行业应用案例,中国科,大,大-象形科,技,技大数,据,据商业,智,智能联,合,合实验,室,室，由,科,科大多,位,位博导,、,、教授,领,领衔，,集,集中了30位博士,、,、硕士,，,，20位大数,据,据研发,人,人员的,联,联合研,发,发队伍,，,，在多,个,个大数,据,据技术,领,领域进,行,行技术,研,研究和,成,成果转,化,化。,联合实,验,验室介,绍,绍,技术基,础,础研究,方,方向,研究方向,关键任务,制高点,大数据,可视化挖掘,1,）新型内存迭代数据挖掘算法,2）数据挖掘可视化开发平台,3）房地产、金融、电信等机器学习模型研究,1）基于内存计算的机器学习算法,2）行业大数据深度机器学习模型,3）大数据可视化挖掘,大数据,内存计算,1,）基于内存的迭代算法研究,2）内存大数据高速统计分析技术,1）基于大数据内存的计算技术,2）国内产品领先,大数据语,义分析,1,）大数据自然语言识别,2,）非结构化数据的知识发现、集成技术,大数据平台的可视化集成目前是空白领域,大数据,云计算技术,1,）大数据云计算平台技术,2,）商业智能云平台技术,1）云BI技术及大数据平台的核心技术研究,2）大数据云BI在国内应用是未来趋势，有望建成国内第一家云BI平台,实验室,介,介绍-,技术基,础,础研究,方,方向,产学研合作项目,合作成果,大数据环境下的无重叠视域跟踪技术研究项目,1,）智慧城市合作,2,）,9,项大数据视频专利,3,）多项国家自然科学基金,4,）大数据视频分析平台,审计行业大数据知识推理系统,（国家,863,项目）,课题大数据环境下基于案例的知识推理平台申请国家,863,计划,审计数据中心平台，全国,推广中,。,房地产大数据分析,建立,房产数据开发服务平台,，提供公众服务。,房地产价值评估。建立房产评估模型，房地产指数等模型。,制造业大数据信息挖掘云图,制造业生产设备生命周期大数据分析。,制造业信息云图。,碳交易平台,大数据碳金融算法与模型建立。,碳交易与分析平台。,实验室,介,介绍,-研究,成,成果,开创了,基,基于人,类,类视觉,智,智能的,动,动态目,标,标捕捉,、,、跟踪,和,和行为,分,分析的,研,研究，,在,在国内,外,外杂志,、,、会议,发,发表了,多,多篇高,水,水平论,文,文。,获得视,频,频识别,，,，知识,学,学习与,推,推理相,关,关发明,专,专利2项，申,请,请发明,专,专利7项。,大数据,环,环境下,的,的无重,叠,叠视域,跟,跟踪,大数据技术，解决,视,视频领,域,域的知,识,识识别,，,，知识,发,发现，,知,知识集,成,成与跟,踪,踪，推,理,理等关,键,键技术,问,问题。,多项国,家,家自然,科,科学基,金,金,大数据,技,技术来,实,实现国,家,家经济,免,免疫系,统,统,数据,接口,大数据知识推理系统,疑点数据,审计数据中心,审计跨12个行业,，,，跨地,区,区数据,源,源,传统审计,大数据审计,无法跨地区、跨行业审计,跨行业、跨区域审计,事后审计、周期性审计,连续审计,复杂性隐蔽问题难以发现,智能化，具有预测功能,依据小样本经验地毯式排查,大数据分析，建立抵御和预防手段,审计行,业,业大数,据,据知识,推,推理系,统,统,房地产,大,大数据,利用大,数,数据建,模,模技术,，,，实现,房,房地产,价,价格指,数,数、房,地,地产评,估,估模型,碳交易,利用大,数,数据建,模,模技术,，,，建立全,省,省碳排,放,放计量,监,监测体,系,系的数,据,据体系,、,、技术,体,体系、,模,模型体,系,系和评,估,估体系,，,，形成,满,满足碳,排,排放计,量,量关系,方,方程和,参,参数,目录,联合实验室,大数据分析平台,产品技术架构,典型行业应用案例,数据挖,掘,掘越来,越,越多的,应,应用到,了,了各个,领,领域中,，,，主要,包,包括与,客,客户关,系,系管理,相,相关的,模,模型、,与,与风险,控,控制相,关,关的模,型,型、与,生,生产销,售,售预测,相,相关的,模,模型等,数据挖,掘,掘应用,领,领域,产品名,产品,ETHINK可视化,挖,挖掘,概要,通过在,浏,浏览器,内,内，鼠,标,标拖拽,形,形式实,现,现加载,数,数据、,转,转换、,建,建模、,评,评估、,图,图形以,及,及结果,输,输出,特点,通过视,觉,觉工作,方,方式轻,松,松获得,此,此界面,可,可以保,障,障操作,的,的灵活,性,性,在最短,的,的时间,内,内形成,最,最多样,的,的模型,大,大数据,挖,挖掘，,速,速度快,关系型,数,数据库,数据挖,掘,掘模型,算,算法库/语义分,析,析,Hbase/Hive/Hdfs,可视化,数,数据,挖掘平,台,台,多维自,助,助分析,调,度,管,理,SQL接口,JDBC/ODBC,内存计,算,算服务,Scala,/,/Java/Python,OLAP Server,手机,平板,电脑,批处理,实时流,处,处理,交互式,查,查询,统计分,析,析平台,ETHINK产品架,构,构,特点一,丰富建,模,模方法,特点,可拖拽,式,式建模,JDBC,WebServices,Restful api,可扩展,性,性强,自定义,模,模型，,扩,扩充组,件,件,特点,传统的,关,关系型,数,数据(mysql、Oracle等),列式数,据,据库(Hbase,),),非结构,化,化数据(Hdfs、文件,系,系统),大数据,（,（Hbase、Hive）,特点二,大数据,处,处理,特点,开放型,平,平台,BS结构，,一,一站式,建,建模、,评,评估、,部,部署,基于Spark平台,内存计,算,算,运算速,度,度快,特点,GB,PB,特点三,大数据,处,处理能,力,力,特点,基于Spark平台,内存计,算,算,执行数,据,据挖掘,时,时，方,法,法论非,常,常重要.因为准,确,确的方,法,法论能,够,够提高,作,作业速,度,度,能系统,地,地减少,各,各种进,展,展状况,，,，所以,选,选择正,确,确的方,法,法论是,很,很重要,的,的.CRISP-DM方法论,是,是全球,认,认可的,数,数据挖,掘,掘的标,准,准执行,方,方法论.,功能模块,金融电信行业,1.信用卡用户流失预测,2.基于客户分群的精准智能营销,3.基于公司价值评价的证券策略投资,电力行业,1.电力负荷预测,2.自适应防窃漏电实时诊断,互联网行业,1.电子商务网站用户行为分析,2.基于用户行为分析的定向广告投放,3.企业信息系统用户服务感知评估,制造业行业,1.制造设备生命周祺管理,2.制造业投入产出预测,公共服务业,1.空气质量预测,2.卷烟消费者购买行为分析,3.纳税人偷税漏税评估,场景应,用,用（实,验,验室模,拟,拟实验,课,课题）,目录,联合实验室,大数据分析平台,产品技术架构,典型行业应用案例,交互式查询,实时,在线处理,实时,流处理,批处理,基于spark内存的,计,计算模,型,型，同,时,时支持,批,批处理,、,、交互,式,式处理,、,、流处,理,理。,技术架,构,构解决,方,方案,-要解决,的,的问题,技术架,构,构解决,方,方案-,分布式,内,内存计,算,算,批处理,应,应用,（分钟,级,级别小时级,别,别）,OLTP/在线事,务,务处理,应,应用,（毫秒秒级别,）,）,OLAP/在线交,互,互式分,析,析应用,（秒级,别,别）,实时流,处,处理,（持续,不,不断）,技术架,构,构解决,方,方案,-交互式,查,查询,通常的,时,时间跨,度,度在数,十,十秒到,数,数分钟,之,之间,按数据,维,维度进,行,行统计,、,、聚合,根据历,史,史数据,进,进行拟,合,合和预,测,测,计算数,据,据之间,的,的相关,性,性和模,式,式等,适合提,供,供高速,在,在线分,析,析服,典型应,用,用场景,政府各,部,部门数,据,据,证券交,易,易,银行保,险,险,企业ERP,/,/CRM等,适用于,数,数据量,在,在GB到TB的高速,数,数据分,析,析,技术架,构,构解决,方,方案,-实时在,线,线处理,通常的,时,时间跨,度,度在数,百,百毫秒,到,到数秒,之,之间,数据来,源,源多、,高,高并发,、,、数据,处,处理量,达,达,分析结,果,果快速,响,响应,典型应,用,用场景,社交网,络,络分析,、,、关联,关,关系分,析,析,用户分,类,类、用,户,户行为,预,预测,高并发,查,查询,按主键,毫,毫秒级,检,检索,按多维,度,度秒级,检,检索,按照关,键,键字秒,级,级检索,事件驱,动,动计算,模,模型，,系,系统处,于,于持续,不,不断计,算,算之中,，,，事件,响,响应延,迟,迟在毫,秒,秒秒级。,流式计,算,算系统,处,处理应,用,用的处,理,理逻辑,是,是由源,源,源不断,的,的数据,流,流驱动,。,。,典型应,用,用场景,有金融,在,在线欺,诈,诈预警,广告CTR,推荐系,统,统,技术架,构,构解决,方,方案,-实时流,处,处理,技术架,构,构解决,方,方案,-批处理,及,及离线,挖,挖掘,时间跨,度,度在数,十,十分钟,到,到数小,时,时之间,。,。,离线挖,掘,掘主要,用,用于，,多,多维统,计,计预测,，,，准实,时,时分析,以,以及对,客,客户进,行,行聚类,、,、分类,等,等数据,挖,挖掘应,用,用。,典型应,用,用场景,电子商,务,务推荐,引,引擎,流失客,户,户预测,挽,挽留,日志清,洗,洗、ETL,用户行,为,为分析,目录,联合实验室,大数据分析平台,产品技术架构,典型行业应用案例,项目需求,将总行下发的,数,数据及核心,业,业务数,据,据，经,过,过数据,整,整理、,加,加载到,省,省级数,据,据中心,，,，并进,行,行各项,业,业务快,速,速应用,开,开发,数据源,某省公,积,积金中,心,心，近,五,五年的,操,操作、,交,交易记,录,录，共10亿条左,右,右。,系统环,境,境,4台X86架构的PC服务器,，,，共128G内存,单台服,务,务器，8核CPU,32G内存,解决方案,Hbase导入海,量,量数据,，,，并支,撑,撑大数,据,据查询,可视化,设,设计、,可,可视化,报,报表实,现,现了数,据,据的实,时,时分析,行业应,用,用案例,-金融,行业应,用,用案例,-金融,系统由,对,对公客,户,户综合,积,积分子,系,系统、,展,展业通,客,客户综,合,合收益,分,分析子,系,系统、,授,授信客,户,户资金,结,结算子,系,系统、,对,对公柜,面,面交易,流,流水分,析,析子系,统,统等组,成,成,行业应,用,用案例,-金融,项目需,求,求,整合第,三,三方支,付,付数据,资,资源，,分,分析挖,掘,掘客户,交,交易、,反,反馈信,息,息、交,易,易行等,数,数据，,实,实现精,准,准营销,，,，最大,限,限度地,提,提升产,品,品价值,数据源,某第三,方,方支付,平,平台交,易,易、反,馈,馈数据,，,，月交,易,易记录,量,量1亿条。,系统环,境,境,台X86架构的PC服务器,，,，共96G内存,单台服,务,务器，8核CPU,16G内存,解决方,案,案,Hbase导入海,量,量数据,，,，并支,撑,撑大数,据,据查询,Hive对历史,交,交易数,据,据进行,分,分析,可视化,设,设计、,可,可视化,报,报表实,现,现数据,的,的实时,分,分析,基于ETHINK可视化,挖,挖掘平,台,台，完,成,成精准,营,营销建,模,模,持卡客,户,户多维,分,分析：,持卡客,户,户人口,统,统计特,征,征分析,持卡客户,交,交易行,为,为模式,分,分析,持卡客,户,户应用,场,场景分,析,析,特约商,户,户多维,分,分析：,商户基,本,本信息,分,分析/商户业,务,务收益,分,分析,商户价,值,值贡献,度,度评估,商户,收,收单风险分,析,析,持卡客,户,户和特,约,约商户,双,双向分,析,析,特定特,征,征客户,特,特定时