大数据体系结构及技术解决方ppt课件

大数据科学与工程系列大数据科学与工程系列 大数据体系结构大数据体系结构1 1陈志成陈志成 中国科学院大学中国科学院大学 2014年06月大数据科学与工程系列大数据科学与工程系列 大数据体系大数据体系结结构构1主要内容主要内容一、大数据时代的新命题一、大数据时代的新命题二、大数据的体系结构二、大数据的体系结构三、大数据的关键技术三、大数据的关键技术四、物联网与云计算架构四、物联网与云计算架构五、知名企业大数据架构五、知名企业大数据架构六、大数据系统设计案例六、大数据系统设计案例u总结、交流、作业总结、交流、作业主要内容主要内容一、大数据时代的新命题一、大数据时代的新命题一、大数据一、大数据时时代的新命代的新命题题谷歌大数据中心：谷歌大数据中心：全球主要全球主要DC有有8个个谷歌大数据中心：全球主要谷歌大数据中心：全球主要DC有有8个个大数据表象概念：大数据表象概念：百度数据规模百度数据规模大数据表象概念：百度数据大数据表象概念：百度数据规规模模大数据表象概念：大数据表象概念：对系统要求对系统要求大数据表象概念：大数据表象概念：对对系系统统要求要求大数据时代的新命题大数据时代的新命题:n数据在爆炸式增长数据在爆炸式增长 互联网海量大数据互联网海量大数据 物联网各类型数据物联网各类型数据n发数据处理能力要求提高发数据处理能力要求提高 大规模数据存取方式大规模数据存取方式 大数据并行技术能力大数据并行技术能力n数据间关联性分析加强数据间关联性分析加强 社交网络关系社交网络关系 多业务关联性多业务关联性 用户行为分析用户行为分析n网络数据的实时同步网络数据的实时同步 一切营销都线下线上一切营销都线下线上 多业务跨地域数据同步多业务跨地域数据同步n“数据结构化数据结构化”本身是最本身是最具挑战性的一个环节具挑战性的一个环节.n海量数据与快速处理是一海量数据与快速处理是一对悖论对悖论.大数据大数据时时代的新命代的新命题题:信息社会需求：信息社会需求：信息化信息化-智能化智能化-现代化现代化农业社会工业社会信息社会人力工具 -镰刀 -锄头 动力工具 -机车 -机床智能工具-推理机-智能网 信息时代的大数据需求信息时代的大数据需求信息社会需求：信息化信息社会需求：信息化-智能化智能化-现现代化代化农业农业社会工社会工业业社会信息社会社会信息社会信息时代数据大爆炸，信息时代数据大爆炸，推动智能技术发展推动智能技术发展信息信息时时代数据大爆炸，推代数据大爆炸，推动动智能技智能技术发术发展展信息时代，软件编程模型发展信息时代，软件编程模型发展n“面向信息处理面向信息处理”的智能化编程模型，编程简化为数据配置与管理信息信息时时代，代，软软件件编编程模型程模型发发展展“面向信息面向信息处处理理”的智能化的智能化编编程模型，程模型，大数据技术架构大数据技术架构数据数据智能智能大数据技大数据技术术架构架构数据智能数据智能二、大数据的系统架构二、大数据的系统架构二、大数据的系二、大数据的系统统架构架构传统数据库技术架构传统数据库技术架构:nOracle数据库体系架构数据库体系架构传统传统数据数据库库技技术术架构架构:Oracle数据数据库库体系架构体系架构大数据架构：分层架构大数据架构：分层架构n从从数数据据在在生生命命周周期期看看，大大数数据据从从数数据据源源经经过过分分析析挖挖掘掘到到最最终终获获得得价价值值需需要要经经过过5个环节，包括个环节，包括数据准备、数据存储与管理、计算处理、数据分析和知识展现。数据准备、数据存储与管理、计算处理、数据分析和知识展现。大数据架构：分大数据架构：分层层架构从数据在生命周期看，大数据从数据源架构从数据在生命周期看，大数据从数据源经过经过分分大数据的系统架构：大数据的系统架构：整体系统架构整体系统架构新一代编程语言大数据的系大数据的系统统架构：整体系架构：整体系统统架构新一代架构新一代编编程程语语言言大数据架构：大数据架构：整体逻辑功能架构整体逻辑功能架构大数据架构：整体大数据架构：整体逻辑逻辑功能架构功能架构大数据架构理解：搜索引擎大数据架构理解：搜索引擎大数据架构理解：搜索引擎大数据架构理解：搜索引擎大数据架构理解：网页内容抓取大数据架构理解：网页内容抓取大数据架构理解：网大数据架构理解：网页页内容抓取内容抓取大数据系统架构大数据系统架构HadoopnHadoop分布式系统组成分布式系统组成大数据系大数据系统统架构架构HadoopHadoop分布式系分布式系统组统组成成大数据系统架构大数据系统架构Hadoop在图中，在图中，Hadoop主要的功能组件有：主要的功能组件有：nHadoop Common:包含包含HDFS、MapReduce和其他项目公共内容；和其他项目公共内容；nHDFS：Hadoop分布式文件系统；分布式文件系统；nMapReduce：一个用于并行处理大数据集的软件框架。：一个用于并行处理大数据集的软件框架。Map 函数接受一组数据函数接受一组数据并将其转换为一个键并将其转换为一个键/值对列表，输入域中的每个元素对应一个键值对列表，输入域中的每个元素对应一个键/值对。值对。Reduce 函数接受函数接受 Map 函数生成的列表，然后根据它们的键（为每个键生成一个键函数生成的列表，然后根据它们的键（为每个键生成一个键/值对）值对）缩小键缩小键/值对列表；值对列表；nHBase:类似类似Google BigTable的分布式的分布式NoSQL列数据库；列数据库；nHive：是基于：是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的张数据库表，并提供完整的sql查询功能，可以将查询功能，可以将sql语句转换为语句转换为MapReduce任任务进行运行；务进行运行；nZookeeper：分布式锁，提供类似：分布式锁，提供类似Google Chubby的功能；的功能；nAvro：新的数据序列化格式与传输工具，将逐步取代：新的数据序列化格式与传输工具，将逐步取代Hadoop原有的原有的IPC机制；机制；nPig：大数据数据流分析平台，为用户提供多种接口；：大数据数据流分析平台，为用户提供多种接口；nSqoop：在：在HADOOP与传统的数据库间进行数据的传递。与传统的数据库间进行数据的传递。大数据系大数据系统统架构架构Hadoop在在图图中，中，Hadoop主要的功能主要的功能组组件件大数据系统架构大数据系统架构Hadoop：功能定位功能定位大数据系大数据系统统架构架构Hadoop：功能定位：功能定位1.大数据系统架构大数据系统架构Hadoop：层次对应层次对应1.大数据系大数据系统统架构架构Hadoop：层层次次对应对应大数据：分布式计算架构大数据：分布式计算架构大数据：分布式大数据：分布式计计算架构算架构大数据架构大数据架构:MapReduce工作原理工作原理1大数据架构大数据架构:MapReduce工作原理工作原理1大数据架构大数据架构:MapReduce工作原理工作原理2大数据架构大数据架构:MapReduce工作原理工作原理2三、大数据的关键技术三、大数据的关键技术三、大数据的关三、大数据的关键键技技术术大数据关键技术到底有哪些？大数据关键技术到底有哪些？核心问题是：核心问题是：(计算、存储、分析计算、存储、分析)算法算法大数据：恐怖的大数据大数据：恐怖的大数据(生活示例生活示例)智能性：数据分析、自然语言理解智能性：数据分析、自然语言理解 逻辑推理逻辑推理(演示演示)艺术性：分形算法、视频动画艺术性：分形算法、视频动画(演示演示)大数据关大数据关键键技技术术到底有哪些？大数据：恐怖的大数据到底有哪些？大数据：恐怖的大数据(生活示例生活示例)大数据关键技术大数据关键技术1：大数据存储技术大数据存储技术n数数据据的的海海量量化化和和快快增增长长特特征征、以以及及数数据据格格式式的的多多样样化化是是大大数数据据对对存存储储技技术术提提出出的的首首要要挑挑战战。要要求求底底层层硬硬件件架架构构和和文文件件系系统统在在性性价价比比上上要要大大大大高高于于传传统技术，并能够弹性扩展存储容量。统技术，并能够弹性扩展存储容量。大数据关大数据关键键技技术术1：大数据存：大数据存储储技技术术数据的海量化和快增数据的海量化和快增长长特征、以特征、以大数据关键技术大数据关键技术2：并行计算能力并行计算能力n大数据的分析挖掘是数据密集型计算，需要巨大的计算能力。n针对不同计算场景发展出特定分布式计算框架。Yahoo 提提出出的的S4 系系统统、Twitter 的的Storm,谷谷歌歌2010 年年公公布布的的Dremel系系统统，MapReduce内存化以提高实时性的内存化以提高实时性的Spark 框架框架.大数据关大数据关键键技技术术2：并行：并行计计算能力大数据的分析挖掘是数据密集型算能力大数据的分析挖掘是数据密集型计计数据爆炸，知识贫乏数据爆炸，知识贫乏 苦恼:淹没在数据中;不能制定合适的决策!数据数据知识知识决策决策n模式模式n趋势趋势n事实事实n关系关系n模型模型n关联规则关联规则n序列序列n目标市场目标市场n资金分配资金分配n贸易选择贸易选择n在哪儿做广告在哪儿做广告n销售的地理位置销售的地理位置n金融金融n经济经济n政府政府nPOS.n人口统计人口统计n生命周期生命周期大数据关键技术大数据关键技术3：数据分析技术数据分析技术数据爆炸，知数据爆炸，知识贫识贫乏乏 苦苦恼恼:淹没在数据中淹没在数据中;不能制定合适的不能制定合适的n基基于于计计算算流流体体力力学学的的三三维维呈呈现现:如如用用能能场场所所3D场场景景及及CFD温温度度及及能能效效云场呈现如下图。云场呈现如下图。大数据关键技术大数据关键技术4：数据显示技术数据显示技术基于基于计计算流体力学的三算流体力学的三维维呈呈现现:如用能如用能场场所所3D场场景及景及CFD温度温度大数据分析大数据分析n世界杯：英格兰世界杯：英格兰vs意大利意大利 1:2。数据热图。数据热图大数据分析世界杯：英格大数据分析世界杯：英格兰兰vs意大利意大利 1:2。数据。数据热图热图大数据关键技术大数据关键技术5：数据挖掘算法数据挖掘算法代代特征特征数据挖掘算法数据挖掘算法集成集成分布计算分布计算模型模型数据模型数据模型第一代第一代数数据据挖挖掘掘作作为为一一个个独独立立的的应应用用支持一个或者支持一个或者多个算法多个算法 独立的系独立的系统统单个机单个机器器向量数据向量数据第二代第二代和和数数据据库库以以及及数据仓库集成数据仓库集成多多个个算算法法：能能够够挖挖掘掘一一次次不不能能放放进内存的数据进内存的数据数数据据管管理理系系统统，包包括括数数据据库库和和数数据据仓库仓库同质同质/局局部区域部区域的计算的计算机群集机群集有有些些系系统统支支持持对对象象、文文本本、和和连连续续的媒体数据的媒体数据第三代第三代和预言模型系和预言模型系统集成统集成 多个算法多个算法数数据据管管理理和和预预言言模模型型系系统统intranet/extranet网网络计算络计算支支持持半半结结构构化化 数数 据据 和和webweb数据数据第四代第四代和移动数据和移动数据/各种计算数据各种计算数据联合联合 多个算法多个算法数数据据管管理理、预预言言模模型型、移动系统移动系统移移动动和和各各种种计计算算设设备备普普遍遍存存在在的的计计算算模模型型大数据关大数据关键键技技术术5：数据挖掘算法代特征数据挖掘算法集成分布：数据挖掘算法代特征数据挖掘算法集成分布计计算算Debt$40KQ QQ QQ QQ QII123456factor 1factor 2factor n神经网络神经网络 Neural NetworksNeural Networks聚类分析聚类分析 ClusteringClusteringOpenAccntAdd NewProductDecreaseUsage?Time序列分析序列分析 Sequence AnalysisSequence Analysis决策树决策树 Decision TreesDecision Trees 倾向性分析 客户保留 客户生命周期管理 目标市场 价格弹性分析 客户细分 市场细分 倾向性分析 客户保留 目标市场 欺诈检测关联分析关联分析 AssociationAssociation 市场组合分析 套装产品分析 目录设计 交叉销售大数据关键技术大数据关键技术5：数据挖掘算法数据挖掘算法Debt10%of IncomeDebt=0%GoodB数据挖掘的主要方法n分类（分类（Classification）n聚类聚类(Clustering)n相关规则相关规则(Association Rule)n回归回归(Regression)n其他其他n知识发现系统需要一个前处理知识发现系统需要一个前处理过程过程n数据抽取数据抽取n数据清洗数据清洗n数据选择数据选择n数据转换数据转换n知识发现系统是一个自动知识发现系统是一个自动/半自半自动过程动过程n知识发现系统要有很好的性能知识发现系统要有很好的性能知识发现KDD系统特征数据挖掘的主要方法分数据挖掘的主要方法分类类（Classification）知）知识发识发数据挖掘主要方法：数据挖掘主要方法：ETLnETL Process Framework ETL工工具具有有：OWB(Oracle Warehouse Builder)、ODI(Oracle Data Integrator)、Informatic PowerCenter、AICloudETL、DataStage、DataSpider,等。等。ApplicationApplication&Operations&OperationsServicesServicesTransportTransportServicesServicesLoadLoadTransformTransformExtractExtractTarget adaptorsTarget adaptorsSource adaptorsSource adaptorsETL Data import/ETL Data import/Rule importRule importETL Data ExportETL Data ExportRuntimeRuntimeMata dataMata dataServicesServicesDesign Design managementmanagementMeta data Meta data Import/Import/exportexportMeta data Meta data managementmanagement数据挖掘主要方法：数据挖掘主要方法：ETLETL Process Framew四、物联网与云计算架构四、物联网与云计算架构四、物四、物联联网与云网与云计计算架构算架构互联网上的物联网：概念互联网上的物联网：概念互互联联网上的物网上的物联联网：概念网：概念互联网上的物联网：发展互联网上的物联网：发展n2009年年8月月7日日，温温家家宝宝视视察察中中科科院院嘉嘉兴兴无无线线传传感感网网工工程程中中心心无无锡锡研研发发分分中中心心，提提出出“在在传传感感网网发发展展中中，要要早早一一点点谋谋划划未未来来，早早一一点点攻攻破破核核心心技技术术”，明确要求尽快建立中国的传感信息中心，或叫，明确要求尽快建立中国的传感信息中心，或叫“感知中国感知中国”中心。中心。n2010年年2月月25日日,中中国国首首个个传传感感网网大大学学科科技技园园在在无无锡锡成成立立，北北京京邮邮电电大大学学无无锡感知技术与产业研究院是首家入驻大学科技园的高校科研机构。锡感知技术与产业研究院是首家入驻大学科技园的高校科研机构。n移移动动、电电信信、联联通通三三大大运运营营商商纷纷纷纷在在无无锡锡成成立立物物联联网网研研究究中中心心，以以无无锡锡为为首的国内大中城市争相建设智能城市，争取成为感知中国首的国内大中城市争相建设智能城市，争取成为感知中国示范示范城市。城市。n2010年年3月月2日日，上上海海物物联联网网中中心心在在上上海海嘉嘉定定揭揭牌牌，宣宣称称将将以以此此打打造造国国内内最最具具竞竞争争力力、具具有有国国际际影影响响的的物物联联网网技技术术研研发发基基地地，总总投投资资达达8亿亿元元。把把合合作作伙伴锁定为中国科学院上海微系统与信息技术研究所。伙伴锁定为中国科学院上海微系统与信息技术研究所。n2010年年3月月9日日，中中国国物物联联网网标标准准联联合合工工作作组组筹筹备备会会议议在在京京召召开开。3月月中中旬旬，浙浙江江省省成成立立了了物物联联网网产产业业规规划划编编制制小小组组，浙浙江江省省经经济济和和信信息息化化委委员员会会副副主主任任郑郑一一方方担担任任组组长长。杭杭州州市市已已经经联联合合浙浙江江省省工工业业经经济济研研究究所所启启动动物物联联网网产产业调研和发展规划编制工作，提出业调研和发展规划编制工作，提出“感知杭州感知杭州”的发展愿景。的发展愿景。互互联联网上的物网上的物联联网：网：发发展展2009年年8月月7日，温家宝日，温家宝视视察中科院嘉察中科院嘉物联网的体系架构物联网的体系架构物物联联网的体系架构网的体系架构物联网的体系架构物联网的体系架构物物联联网的体系架构网的体系架构物联网的体系架构物联网的体系架构物物联联网的体系架构网的体系架构物联网示范：智能家居大数据管理系统物联网示范：智能家居大数据管理系统物物联联网示范：智能家居大数据管理系网示范：智能家居大数据管理系统统物联网示范：动态跟踪管理，牧场大数据物联网示范：动态跟踪管理，牧场大数据物物联联网示范：网示范：动态动态跟踪管理，牧跟踪管理，牧场场大数据大数据物联网示范：医疗健康大数据物联网示范：医疗健康大数据 管理体系架构管理体系架构大中型医院大中型医院大中型医院大中型医院政企客户领导政企客户领导政企客户领导政企客户领导省领航平台省领航平台省领航平台省领航平台 基层医疗机构基层医疗机构基层医疗机构基层医疗机构短信接口短信接口平台功能平台功能健康管理服务健康管理服务健康管理服务健康管理服务紧急呼叫一键通紧急呼叫一键通运动能量检测运动能量检测终端功能终端功能血压血压/血糖管理血糖管理离退休干部离退休干部离退休干部离退休干部GPSGPS定位定位健康档案自管理健康档案自管理心电图诊断呈现心电图诊断呈现心电图测量心电图测量移动移动OAOA彩信接口彩信接口用药提醒用药提醒互动交流互动交流预约就医预约就医WAPWAP接口接口体重管理体重管理血糖管理血糖管理心脏疾病管理心脏疾病管理血压管理血压管理健康管理功能健康管理功能客户关怀功能客户关怀功能BSS/OSSBSS/OSSBSS/OSSBSS/OSS日常心电监测日常心电监测血压监测血压监测运动情况监测运动情况监测医疗服务功能医疗服务功能血糖监测血糖监测移动全球眼移动全球眼物物联联网示范：医网示范：医疗疗健康大数据健康大数据 管理体系架构大中型医院政企客管理体系架构大中型医院政企客户领户领云计算演进：云计算演进：桌面云理解桌面云理解(NDNCCCN)(NDNCCCN)云云计计算演算演进进：桌面云理解：桌面云理解(NDNCCCN)云计算架构：云计算架构：通用三层架构通用三层架构(IBM(IBM为例，加为例，加BPaaS)BPaaS)IaaSIaaSPaaSPaaSSaaSSaaSBPaaSBPaaS云云计计算架构：通用三算架构：通用三层层架构架构(IBM为为例，加例，加BPaaS)IaaS云计算的不同服务层次和内容：云计算的不同服务层次和内容：云云计计算的不同服算的不同服务层务层次和内容：次和内容：云计算的应用案例：广州品高云计算的应用案例：广州品高IaaS云云计计算的算的应应用案例：广州品高用案例：广州品高IaaS云计算的统一数据中心云计算的统一数据中心nCiscos Cloud Computing ApproachnCombining the unified data center and cloud intelligent networknNetwork Service becomes an essential element 云云计计算的算的统统一数据中心一数据中心Ciscos Cloud Comput五、知名企业大数据架构五、知名企业大数据架构五、知名企五、知名企业业大数据架构大数据架构又拍云存储架构又拍云存储架构又拍云存又拍云存储储架构架构大数据：大数据：IBM大数据方案大数据方案大数据：大数据：IBM大数据方案大数据方案大数据分析实例：大数据分析实例：n北京邮电大学北京邮电大学“云海云海”移动互联网数据分析平台移动互联网数据分析平台大数据分析大数据分析实实例：北京例：北京邮电邮电大学大学“云海云海”移移动动互互联联网数据分析平网数据分析平1.大数据架构：大数据架构：曙光智慧交通系统架构曙光智慧交通系统架构1.大数据架构：曙光智慧交通系大数据架构：曙光智慧交通系统统架构架构1.大数据架构：大数据架构：IBM1.大数据架构：大数据架构：IBM1.大数据架构：大数据架构：HP云监控大数据解决方案云监控大数据解决方案1.大数据架构：大数据架构：HP云云监监控大数据解决方案控大数据解决方案大数据架构大数据架构nIntel分布式分布式Hadoop架构架构大数据架构大数据架构Intel分布式分布式Hadoop架构架构大数据架构：大数据架构：微软大数据解决方案微软大数据解决方案n设设计计了了一一套套基基于于 Microsoft SQL Server 2012 和和 Microsoft Azure HDInsight 的端到端大数据解决方案。在的端到端大数据解决方案。在 HDInsight 上快速部署上快速部署 Hadoop 群集。群集。大数据架构：微大数据架构：微软软大数据解决方案大数据解决方案设计设计了一套基于了一套基于 Microso大数据平台架构大数据平台架构n引跑科技EngineOne平台大数据平台架构引跑科技大数据平台架构引跑科技EngineOne平台平台大数据虚拟化架构：大数据虚拟化架构：VMWare BDEnvSphere Big Data Extensions（BDE）是VMware基于 Serengeti开源技术的企业发行版，增强基础架构，更好地部署、运行和管理大数据负载，虚拟化应用。大数据虚拟化（BDE/Serengeti）的部署结构图大数据虚大数据虚拟拟化架构：化架构：VMWare BDEvSphere Big大数据虚拟化架构：大数据虚拟化架构：VMWare BDESerengeti管理服务器的系统架构图大数据虚大数据虚拟拟化架构：化架构：VMWare BDESerengeti管理管理大数据架构大数据架构nNetflix基于基于AWS的大数据平台，不用的大数据平台，不用HDFS而用而用amazon的的S3 (美国最大的在线美国最大的在线DVD租赁商，奈飞公司，提供在线影片租赁业务租赁商，奈飞公司，提供在线影片租赁业务)大数据架构大数据架构Netflix基于基于AWS的大数据平台，不用的大数据平台，不用HDFSSiri的技术实现架构的技术实现架构Siri的技的技术实现术实现架构架构大数据大数据n购物网站的大数据分析系统购物网站的大数据分析系统大数据大数据购购物网站的大数据分析系物网站的大数据分析系统统大数据大数据n某银联机房某银联机房n大数据架构大数据架构大数据某大数据某银联银联机房机房大数据大数据:安全架构安全架构大数据大数据:安全架构安全架构六、大数据系统设计案例分析六、大数据系统设计案例分析六、大数据系六、大数据系统设计统设计案例分析案例分析1.Web数据分析系统的软件验证模型数据分析系统的软件验证模型UML及其及其扩展机制展机制/QVTWeb领域模型域模型转换及代及代码生成生成研研究究Web领域建模工具原型域建模工具原型研研发(基于基于eclipse-modeling Ecore tools,GMF的的Web领域元建模及建模工具域元建模及建模工具)Web模型模型转化化与与代代码生成工具原型生成工具原型研研发（基于（基于mediniQVT及及 eclipse-modeling operational QVT EMF的模型的模型转化化与与代代码生成工具）生成工具）在具体在具体Web系系统开开发中的中的应用、用、验证与与比比较Web应用用实践践基于基于MDA的的Web领域模型域模型研研究究Web领域的域的CIM模型模型（基于（基于Ecore的的web领域域需求的元模型需求的元模型)Web领域的域的PIM模型模型（基于（基于Ecore的的web领域域独独立平台的元模型）立平台的元模型）Web领域的域的PSM模型模型Web领域域CIM到到PIM转换（基于（基于QVT的的CIM到到PIM转换）Web领域域PIM到到PSM转换（基于（基于QVT的的CIM到到PIM转换）Web领域域PSM到源代到源代码转换模型到元模型模型到元模型归纳转换技技术1.Web数据分析系数据分析系统统的的软软件件验证验证模型模型UML及其及其扩扩展机制展机制/Q模型体系模型体系与与模型模型转换模型体系与模型模型体系与模型转换转换大数据体系大数据体系结结构及技构及技术术解决方解决方ppt课课件件分析模型元模型分析模型元模型分析模型元模型分析模型元模型数据访问层元模型数据访问层元模型数据数据访问层访问层元模型元模型业务逻辑层元模型业务逻辑层元模型业务逻辑层业务逻辑层元模型元模型展现层元模型展现层元模型展展现层现层元模型元模型2.淘宝大数据架构淘宝大数据架构2.淘宝大数据架构淘宝大数据架构 淘宝大数据架构淘宝大数据架构 淘宝大数据架构淘宝大数据架构大数据架构大数据架构:淘宝海量数据产品技术架构淘宝海量数据产品技术架构n按照数据的流向来划分，淘宝的数据产品的技术架构分为五层（自上而下），分按照数据的流向来划分，淘宝的数据产品的技术架构分为五层（自上而下），分别是数据源、计算层、存储层、查询层、产品层。别是数据源、计算层、存储层、查询层、产品层。大数据架构大数据架构:淘宝海量数据淘宝海量数据产产品技品技术术架构按照数据的流向来划分架构按照数据的流向来划分大数据架构大数据架构:淘宝海量数据淘宝海量数据,搜索引擎架构搜索引擎架构大数据架构大数据架构:淘宝海量数据淘宝海量数据,搜索引擎架构搜索引擎架构大数据架构大数据架构:淘宝海量数据淘宝海量数据,网络服务架构网络服务架构大数据架构大数据架构:淘宝海量数据淘宝海量数据,网网络络服服务务架构架构3.大数据架构设计：大数据架构设计：智慧城市架构设计智慧城市架构设计n基于结合物联网、云计算、大数据的智慧城市系统架构基于结合物联网、云计算、大数据的智慧城市系统架构3.大数据架构大数据架构设计设计：智慧城市架构：智慧城市架构设计设计基于基于结结合物合物联联网、云网、云计计算、算、案例分析：案例分析：基于工业物联网基于工业物联网与大数据分析平与大数据分析平台的台的能源管理系能源管理系统统总体架构总体架构案例分析：案例分析：基于工基于工业业物物联联网与大数据分析平台的能源管理系网与大数据分析平台的能源管理系统统社会大生产无序社会大生产无序无控排放是环保死敌无控排放是环保死敌一次能源生产二次能源生产一次排放二次能源使用二次排放次生排放原煤油气矿精炼电热油焦矿当前热点雾霾污染问题根源来自于无序无控排放，现在公布的雾霾指数标示只是城市若干当前热点雾霾污染问题根源来自于无序无控排放，现在公布的雾霾指数标示只是城市若干个监测点的结果呈现，具体排放源头及排放关键因素是什么？基于国情大量燃煤，燃煤换个监测点的结果呈现，具体排放源头及排放关键因素是什么？基于国情大量燃煤，燃煤换能效率低排放高，二次排放占较大比例，二次能源消耗再产生大量次生排放。能效率低排放高，二次排放占较大比例，二次能源消耗再产生大量次生排放。煤煤煤电热焦煤电热焦电电热热焦焦油油气气所有排放环节均缺失精细在线监所有排放环节均缺失精细在线监测数据，无序无控恶性排放无缘测数据，无序无控恶性排放无缘节能增效，发展决定总体能耗继节能增效，发展决定总体能耗继续升高，缓解危局只能走节能减续升高，缓解危局只能走节能减排信息化助力工业节能改造道路排信息化助力工业节能改造道路社会大生社会大生产产无序无控排放是无序无控排放是环环保死保死敌敌一次能源生一次能源生产产二次能源生二次能源生产产一次一次节能减排的难点及瓶颈节能能减排管理排管理如何着手如何着手节能能减排措施排措施如何把控如何把控节能能减排效果排效果如何确如何确认节能减排空间节能减排空间如何诊断如何诊断节能减排计量监测节能减排计量监测管理分析评估管理分析评估？节能减排是覆盖全社会所有生产消费过程的大系统工程，配套的能源排放在线计节能减排是覆盖全社会所有生产消费过程的大系统工程，配套的能源排放在线计量监测管理分析评估大数据信息化系统是其关键基础架构。目前存在四大难题量监测管理分析评估大数据信息化系统是其关键基础架构。目前存在四大难题1、节能规划部署、节能规划部署2、能耗诊断审计、能耗诊断审计3、节能手段实施过程控制、节能手段实施过程控制4、节能效益量化计算、节能效益量化计算、EPC分成认证上报分成认证上报节节能减排的能减排的难难点及瓶点及瓶颈节颈节能减排管理能减排管理节节能减排措施能减排措施节节能减排效果能减排效果节节能能电信运营商覆盖全国物联网及云计算体现优势 十二五期末年排放超千吨标煤的省级重点能耗单位原则上必须纳入政府节能减排监管十二五期末年排放超千吨标煤的省级重点能耗单位原则上必须纳入政府节能减排监管机构的监测量化管理，年排放超万吨标煤的国家级重点能耗单位必须自建企业级能源管理机构的监测量化管理，年排放超万吨标煤的国家级重点能耗单位必须自建企业级能源管理系统接入当地市级能源管理监控中心，市级汇聚到省级能源管理监控中心，省级接入中央系统接入当地市级能源管理监控中心，市级汇聚到省级能源管理监控中心，省级接入中央发改委全国能源管理监控中心平台，市省中央所汇集的排放原始数据向全社会开放。发改委全国能源管理监控中心平台，市省中央所汇集的排放原始数据向全社会开放。这样超级大数据系统需要极高的云计算网络存储资源，还要对各用能户建立多维度关这样超级大数据系统需要极高的云计算网络存储资源，还要对各用能户建立多维度关联能耗排放模型，对自控可靠的用能户以模型仿真模拟结果对相关用能设备实施反向开关联能耗排放模型，对自控可靠的用能户以模型仿真模拟结果对相关用能设备实施反向开关待机操作，实现用能设备动态能效优化，这样的操控实施理应掌控在国有待机操作，实现用能设备动态能效优化，这样的操控实施理应掌控在国有3大运营商手中大运营商手中电电信运信运营营商覆盖全国物商覆盖全国物联联网及云网及云计计算体算体现优势现优势 十二五十二五解决瓶颈问题-其他问题迎刃而解国家综合国家综合能源管理能源管理平台平台A省数据省数据仓库及平仓库及平台台B省数据省数据仓库及平仓库及平台台某行业数某行业数据接口服据接口服务器务器前端数据前端数据采集物联采集物联网网关网网关前端辅助前端辅助数据接口数据接口服务器服务器前端数据前端数据采集物联采集物联网网关网网关前端辅助前端辅助数据接口数据接口服务器服务器前端数据前端数据采集物联采集物联网网关网网关前端辅助前端辅助数据接口数据接口服务器服务器解决瓶解决瓶颈问题颈问题-其他其他问题问题迎刃而解国家迎刃而解国家综综合能源管理平台合能源管理平台A省数据省数据物联网云计算大数据结合-关键技术途径 网管系统、动环系统负责运营商自身能耗数据采集及融合，政府发文强制重点能耗企网管系统、动环系统负责运营商自身能耗数据采集及融合，政府发文强制重点能耗企业采用标准化物联网采集网关及国标智能电表无线接入此系统、或企业已有系统按统一能业采用标准化物联网采集网关及国标智能电表无线接入此系统、或企业已有系统按统一能耗排放数据采集及接口标准规范专线转发接入此系统（只要挂表接入政府均有适当补贴），耗排放数据采集及接口标准规范专线转发接入此系统（只要挂表接入政府均有适当补贴），运营商收流量费及功能费，如用能户使用能源审计诊断功能可另收咨询费等，政府向运营运营商收流量费及功能费，如用能户使用能源审计诊断功能可另收咨询费等，政府向运营商付财政补贴、维护费、流量费及服务费购买服务，运营商还可收能耗排放源数据交易费商付财政补贴、维护费、流量费及服务费购买服务，运营商还可收能耗排放源数据交易费并向政府交管理费等。并向政府交管理费等。物物联联网云网云计计算大数据算大数据结结合合-关关键键技技术术途径途径 网管系网管系统统用能端能耗分量计量及影响因素感知采集辅助辅助辅助辅助设备设备设备设备能耗能耗能耗能耗主设备主设备主设备主设备能耗能耗能耗能耗照明照明照明照明能耗能耗能耗能耗办公设办公设办公设办公设备能耗备能耗备能耗备能耗室内室内室内室内外温外温外温外温湿度湿度湿度湿度振动振动振动振动压力压力压力压力等等等等地理地理地理地理装机装机装机装机空间空间空间空间建材建材建材建材环境环境环境环境等等等等物联网网关物联网网关物联网网关物联网网关电信运营商电信运营商电信运营商电信运营商综合能耗管理综合能耗管理综合能耗管理综合能耗管理大数据云平台大数据云平台大数据云平台大数据云平台m2m(m2m(包括包括包括包括3G/4G3G/4G、WLANWLAN、PTNPTN、IP)IP)表示可根据本用能单元的能耗模型仿真预表示可根据本用能单元的能耗模型仿真预表示可根据本用能单元的能耗模型仿真预表示可根据本用能单元的能耗模型仿真预表示可根据本用能单元的能耗模型仿真预表示可根据本用能单元的能耗模型仿真预测结果酌情进行辅助开测结果酌情进行辅助开测结果酌情进行辅助开测结果酌情进行辅助开测结果酌情进行辅助开测结果酌情进行辅助开/关关关关关关/待机待机待机待机待机待机/调节操作，调节操作，调节操作，调节操作，调节操作，调节操作，以管控相关用能设备使其能耗动态优化以管控相关用能设备使其能耗动态优化以管控相关用能设备使其能耗动态优化以管控相关用能设备使其能耗动态优化以管控相关用能设备使其能耗动态优化以管控相关用能设备使其能耗动态优化产量产量产量产量负荷负荷负荷负荷等等等等生产生产ERP系统系统用能端能耗分量用能端能耗分量计计量及影响因素感知采集量及影响因素感知采集辅辅助助设备设备能耗主能耗主设备设备能耗照能耗照能源管理大数据系统信息标准化能源管理大数据系统信息标准化动态数据静态数据静态数据l基本配置信息：名称、编号、归属地市、位置信息（GPS经纬度）、面积、总载频数等；l设备信息：标识码、名称、厂家、设备类型、规格型号、用途、入网时间、额定功率、额定负荷等；l节能措施：技术名称、实施时间、描述等；l能耗数据：用能场所总耗电量、主设备耗电量、空调耗电量；l环境因素：室内外温湿度；l业务量：话务量、数据业务流量；AI量：电流、电压、温度、湿度、压力、流量、振动；DI量：告警信息；实现耗电量、PUE值、电费、告警的分时段、任意时段统计查询。能耗有效管理始于精准、全面、标准化的能耗排放数据计量。能源管理大数据系能源管理大数据系统统信息信息标标准化准化动态动态数据静数据静态态数据基本配置信息：名数据基本配置信息：名能源数据的多维度分析与呈现能源数据的多维度分析与呈现网上演示：http:/113.108.158.22:7070/EnergySystem,能源数据的多能源数据的多维维度分析与呈度分析与呈现现网上演示：网上演示：http:/113.1总结、交流、作业总结、交流、作业总结总结、交流、作、交流、作业业小结：小结：大数据：大数据：系统结构：系统结构：分层架构、总体架构、分层架构、总体架构、HadoopHadoop、MapReduceMapReduce 关键技术：关键技术：并行计算、存储处理、并行计算、存储处理、ETLETL、多维显示、多维显示 相关领域：相关领域：物联网、云计算、各应用领域物联网、云计算、各应用领域讨讨 论：论：大数据系统架构很多，如果要你进行分类，你从哪些大数据系统架构很多，如果要你进行分类，你从哪些维度来划分为哪些类型的架构？维度来划分为哪些类型的架构？小小结结：大数据：大数据：作业：作业：题目题目:下图是下图是“车联网车联网”系统，请理解，然后回答问题。系统，请理解，然后回答问题。作作业业：题题目目:下下图图是是“车联车联网网”系系统统，请请理解，然后回答理解，然后回答问题问题。作业：作业：问题问题 如上图是如上图是“车联网车联网”系统架构，请根据图并结合日常生活系统架构，请根据图并结合日常生活经验作答：经验作答：1.1.关于车联网系统，其包含哪些关于车联网系统，其包含哪些“数据数据”，这些数据从何而，这些数据从何而来，到何处去？来，到何处去？(画数据流图画数据流图)2.2.车联网系统中，有哪些场景下用到的数据可能很大，对系车联网系统中，有哪些场景下用到的数据可能很大，对系统的哪些环节有更高要求？你能设计一个车联网大数据的统的哪些环节有更高要求？你能设计一个车联网大数据的系统方案吗？系统方案吗？3.3.车联网系统中，可能用到哪些数据分析工具或算法，在哪车联网系统中，可能用到哪些数据分析工具或算法，在哪些场景下有用？些场景下有用？作作业业：问题问题 如上如上图图是是“车联车联网网”系系统统架构，架构，请请根据根据图图并并结结合合主要参考文献：主要参考文献：1.1.工业和信息化部电信研究院，中国工业和信息化部电信研究院，中国大数据白皮书大数据白皮书(2014)(2014)，20142014年年5 5月月.2.2.大数据的系统架构支持，林仕鼎，大数据的系统架构支持，林仕鼎，20132013年年4 4月月.3.3.物联网与智能计算，陈志成，物联网与智能计算，陈志成，20102010年年8 8月月.4.4.基于大数据的工业节能系统，北京易能境科技公司，基于大数据的工业节能系统，北京易能境科技公司，20142014年年5 5月月.5.5.软件工程领域建模，蒋严冰，北京大学软件学院，软件工程领域建模，蒋严冰，北京大学软件学院，20122012年年4 4月月.6.6.大数据文档，百度网站，大数据文档，百度网站，20142014年年5 5月月.主要参考文献：主要参考文献：1.工工业业和信息化部和信息化部电电信研究院，中国大数据白信研究院，中国大数据白心语共勉：心语共勉：学习、工作、生活的本质：学习、工作、生活的本质：心心语语共勉：学共勉：学习习、工作、生活的本、工作、生活的本质质：Smile and do 谢谢大家！谢谢大家！谢谢谢谢大家！大家！