大数据技术和标准化ppt课件

大数据技术和标准化大数据技术和标准化科学、公正、诚信、服务科学、公正、诚信、服务大数据技术和标准化科学、公正、诚信、服务1内内 容容大数据发展背景标准化工作现状下一步工作重点2内 容 大数据发展背景2一、大数据催生了信息化一、大数据催生了信息化3.03.0（智慧化阶段）（智慧化阶段）信息化1.0-2019以单机应用为特征的数字化阶段-2019以联网应用为特征的网络化阶段2019-以数据的深度挖掘与融合应用为特征的智慧化阶段经历基础性变革后的未来信息技术支撑的信息化信息化2.0信息化3.0？金税工程金税工程n数据规模更大，来源更丰富，类型更复杂，变化更快3一、大数据催生了信息化3.0（智慧化阶段）信息化1.0-2一、一、大数据催生了信息化大数据催生了信息化3.03.0（智慧化阶段）（智慧化阶段）技术廉价化、互联网发展、信息化建设长期积累，形成了规模巨大的数据资源，且仍将加速增长大数据应用的成功案例，激发了基于数据，萃取知识、指导实践的巨大需求大数据大数据现象出现现象出现数据应用需求激增以数据的深度挖掘与融合应用为特征的智慧化智慧化阶段信息化信息化3.03.04一、大数据催生了信息化3.0（智慧化阶段）技术廉价化、互联二、二、大数据的战略意义大数据的战略意义大数据正在改变大数据正在改变人类的思维方式人类的思维方式随机样本精确求解因果关系全体数据近似求解关联关系传统思维大数据思维提供新思维、新手段5二、大数据的战略意义大数据正在改变人类的思维方式随机样本精二、二、大数据的战略意义大数据的战略意义GDP促进经济转型增长改善民生：改善民生：优化资源配置优化资源配置,健康医疗、就业、社保、教育、公共交通健康医疗、就业、社保、教育、公共交通产业转型，创新业态：产业转型，创新业态：颠覆传统产业颠覆传统产业,提高运行效率和决策能力提高运行效率和决策能力,催生智能制造、催生智能制造、互联网金融等新业态互联网金融等新业态大数据时代，信息技术不仅是行业发展的大数据时代，信息技术不仅是行业发展的“倍增倍增器器”、“催化器催化器”，甚至会成为行业的颠覆者，甚至会成为行业的颠覆者6二、大数据的战略意义GDP促进经济转型增长改善民生：大数二、二、大数据的战略意义大数据的战略意义提升国家综合能力、保障国家安全美美国国棱棱镜镜计计划划：电邮、即时消息、视频、照片、语音、文件传输、视频会议、社交网络等数据的收集与综合分析自自主主可可控控的的大大数数据据技技术术体体系系是是不不可或缺的基础！可或缺的基础！7二、大数据的战略意义提升国家综合能力、保障国家安全美国棱镜三、三、大数据产业生态链（技术）大数据产业生态链（技术）大数据采集大数据采集大数据存储、大数据存储、管理和处理管理和处理大数据呈现大数据呈现和应用和应用大数据分析大数据分析和挖掘和挖掘8三、大数据产业生态链（技术）大数据采集大数据存储、管理和处三、三、大数据产业生态链（商业）大数据产业生态链（商业）9三、大数据产业生态链（商业）9四、四、我国大数据产业发展现状我国大数据产业发展现状基础设施和分析方法方面：主要依赖国外技术和产品，核心技术方面仍是学习者和追随者应用方面：BAT在网络大数据具有优势：网站、微博、微信、搜索、交易数据等，互联网企业的技术优势难以顺畅地扩散到各行业部门、地方和一些行业开始关注大数据资源建设初级发展阶段，缺少典型性、共识性强的大数据应用；数据资源开放方面：我国数据资源主要来源于互联网，业务、政务数据共享开放程度低急需标准化，保证有序发展、开放共享10四、我国大数据产业发展现状基础设施和分析方法方面：10内内 容容大数据发展背景标准化工作现状下一步工作重点11内 容 大数据发展背景11一、大数据工作组概况一、大数据工作组概况（一）组织架构（一）组织架构 组长：组长：梅梅 宏宏 上海交通大学上海交通大学 副校长（院士）副校长（院士）副组长：副组长：车品觉车品觉 阿里巴巴集团副总裁阿里巴巴集团副总裁 吴建明吴建明 华为华为ITIT技术开发部部长技术开发部部长 杜小勇杜小勇 中国人民大学信息学院院长中国人民大学信息学院院长 秘书长：秘书长：高高 林林 工业和信息化部信软司工业和信息化部信软司 副司长副司长 联络员：联络员：刘大山刘大山 国家标准化管理委员会工业二部国家标准化管理委员会工业二部 处长处长 孙文龙孙文龙 工业和信息化部信软司工业和信息化部信软司 处长处长 侯建仁侯建仁 工业和信息化部电子信息司工业和信息化部电子信息司 处长处长12一、大数据工作组概况（一）组织架构 组长：12进一步扩大工作组规模进一步扩大工作组规模 申请报名的成员单位170+家成员单位管理成员单位管理 统一邮箱：bigdatacesi 微信公众平台建立联络关系建立联络关系 贵州省贵阳市政府、中关村大数据产业联盟建立大数据专家团队建立大数据专家团队一、工作组概况一、工作组概况13进一步扩大工作组规模一、工作组概况1313一、工作组概况一、工作组概况（二）组织管理（二）组织管理n2019年年12月月2日日，工工作作组成立大会组成立大会n2019年年7月月14日日，工工作作组组第第二二次次全全会会，正正式式成成立立7个专题组个专题组n2019年年12月月17日日，工工作作组组第第三三次次全全会会（2019年年年终总结）年终总结）n工工作作组组开开展展了了一一系系列列调调研研活活动动，组组织织线线下下活活动动5次次，召召开开专专题题组组会会议议18次次一、工作组概况（二）组织管理2019年12月2日，工作组成立14二、标准体系框架二、标准体系框架15二、标准体系框架1515n基础标准基础标准为整个标准体系提供包括总则、术语和参考模型、元数据等基础性标准。n技技术标准术标准该类标准主要针对大数据相关技术进行规范。包括数据治理和数据质量两类标准。其中，数据治理标准主要针对数据的收集、预处理、分析、可视化、访问、能力成熟度评价模型等方面进行规范。数据质量标准主要针对数据质量提出具体的管理要求和相应的指标要求，确保数据在产生、存储、交换和使用等各个环节中的质量，为大数据应用打下良好的基础，包括质量评价、数据溯源、质量检测等标准。二、标准体系框架二、标准体系框架16基础标准二、标准体系框架16n产品和平台标准产品和平台标准该类标准主要针对大数据相关技术产品和应用平台进行规范。包括关系型数据库产品、非结构化数据管理产品、智能工具、可视化工具、数据处理平台和测试规范六类标准。其中关系型数据库产品标准针对存储和处理大数据的关系型数据库管理系统，从访问接口、技术要求、测试要求等方面进行规范，为关系型数据库管理系统进行大数据的高端事务处理和海量数据分析提供支持；非结构化数据管理产品标准针对存储和处理大数据的非结构化数据管理系统，从参考架构、数据表示、访问接口、技术要求、测试要求等方面进行规范；智能工具用来帮助用户对大数据进行分析决策，包括ETL、OLAP、数据挖掘等工具，智能工具标准对智能工具的技术及功能进行规范；可视化工具是对大数据处理应用过程中所需用到的可视化展现工具的技术和功能要求进行规范；大数据平台标准是针对大数据存储、处理、分析系统从技术架构、建设方案、平台接口等方面进行规范；测试规范针对大数据的产品和平台给出测试方法和要求。二、标准体系框架二、标准体系框架17产品和平台标准二、标准体系框架17n大数据安全标准大数据安全标准数据安全作为数据标准的支撑体系，贯穿于数据整个生命周期的各个阶段。抛开传统的网络安全和系统安全，大数据时代下的数据安全标准主要包括通用要求、隐私保护两类标准。n应用和服务标准应用和服务标准应用和服务类标准主要是针对大数据所能提供的应用和服务从技术、功能、开发、维护和管理等方面进行规范。主要包括开放数据集、数据服务平台和领域应用数据三类标准。其中开放数据集标准主要对向第三方提供的开放数据包中的内容、格式等进行规范；数据服务平台标准是针对大数据服务平台所提出的功能性、维护性和管理性的标准；领域应用数据指的是各领域根据其领域特性产生的专用数据标准，包括工业、电子商务等领域。二、标准体系框架二、标准体系框架18大数据安全标准二、标准体系框架18二、大数据参考模型二、大数据参考模型19二、大数据参考模型1919二、大数据标准化白皮书二、大数据标准化白皮书V2.0V2.020二、大数据标准化白皮书V2.02020二、研究报告二、研究报告4 4、加强研究加强研究（英国）开放数据白皮书NIST在大数据领域的相关研究报告：大数据互操作性框架：第一卷：定义、大数据互操作性框架：第二卷：大数据分类、大数据互操作性框架：第四卷：安全与隐私、大数据互操作性框架：第六卷：参考架构、NIST大数据互操作性框架：第七卷：大数据标准路线图。为了更好的开展政府大数据开放共享和数据资产管理方面的标准化工作，工作组正在开展政府大数据分类分级和数据资产管理的相关研究工作，目前已经形成两份研究报告的初稿。21二、研究报告4、加强研究2121（二）标准化工作进展（二）标准化工作进展已立项标准已立项标准三、标准研制三、标准研制序号计划号标准名称状态120191191-T-469 信息技术 大数据 术语审定会220191190-T-469 信息技术 大数据 技术参考模型完成草案320191184-T-469 数据能力成熟度评价模型完成草案420191172-T-469 多媒体数据语义描述要求完成草案520191194-T-469 信息技术 科学数据引用完成草案620191200-T-469 信息技术 数据交易服务平台 交易数据描述完成草案720191201-T-469 信息技术 数据交易服务平台 通用功能要求完成草案820191202-T-469 信息技术 数据溯源描述模型完成草案920191203-T-469 信息技术 数据质量评价指标草案大纲1020191204-T-469 信息技术 通用数据导入接口规范草案大纲（二）标准化工作进展三、标准研制序号计划号标准名称状态12022共定义了共定义了28个术语，该标准目前处于征求意见阶段。个术语，该标准目前处于征求意见阶段。重点介绍：重点介绍：大数据大数据参考体系结构大数据生命周期模型 大数据工程化 读时模式数据科学家三、标准研制三、标准研制23共定义了28个术语，该标准目前处于征求意见阶段。三、标准研制Volume大数据大数据big databig data 具有数量巨大、来源多样、生成极快且多变等特征并且难以用传统数据体系结构有效处理的包含大量数据集的数据。注：国际上，大数据的4个特征普遍不加修饰地直接用volume、variety、velocity和variability予以表述，并分别赋予了它们在大数据语境下的定义：数量 VolumeVolume多样性Variety 多变性variabilityVolume构成大数据的数据构成大数据的数据集的规模。集的规模。速度Velocity数据可能来自多个数据可能来自多个数据仓库、数据领数据仓库、数据领域或多种数据类型。域或多种数据类型。Volume单位时间的数据流单位时间的数据流量。量。大数据其他特征，大数据其他特征，即数量、速度和多即数量、速度和多样性等特征都处于样性等特征都处于多变状态。多变状态。三、三、信息技术信息技术 大数据大数据 术语术语24Volume大数据big data数量 VolumeVol三、三、信息技术信息技术 大数据大数据 术语术语大数据参考体系结构大数据参考体系结构 big data reference architecture big data reference architecture 一种用作工具的、便于对大数据内在要求、设计结构和运行进行开放性探讨的高层概念模型。注：比较普遍认同的大数据参考体系结构一般包含系统协调者、数据提供者、大数据应用提供者、大数据框架提供者和数据消费者等5个逻辑功能构件。25三、信息技术 大数据 术语大数据参考体系结构 big 大数据生命周期模型大数据生命周期模型 lifecycle model for big data lifecycle model for big data 用于描述大数据的“数据 信息 知识 价值”生命周期和指导大数据相关活动的模型；这些活动主要由收集、准备、分析和行动等阶段覆盖。注：几个阶段的主要活动如下：a.收集阶段采集原始数据并按原始数据形式存储；b.准备阶段将原始数据转化为干净的、有组织的信息；c.分析阶段利用有组织的信息产生合成的知识；d.行动阶段运用合成的知识为企业生成价值。三、三、信息技术信息技术 大数据大数据 术语术语26大数据生命周期模型 lifecycle model for大数据工程化大数据工程化 big data engineering big data engineering 为适应大数据对于有效存储、操作和分析的需求而运用治理独立资源的先进技术构建可伸缩数据系统的过程。读时模式读时模式 schema-on-read schema-on-read 一种数据模式应用；按此应用，在从数据库读取数据时，先经过诸如转换、净化、整合之类准备步骤。数据科学家数据科学家 data scientist data scientist 数据科学专业人员；他们具有足够的业务需求管理机制方面的知识、领域知识、分析技能、以及用于管理数据生命周期中每个阶段的端到端数据过程的软件和系统工程知识。三、三、信息技术信息技术 大数据大数据 术语术语27大数据工程化 big data engineering三、该该技技术术参参考考模模型型展展示示了了一一个个通通用用的的、由由逻逻辑辑功功能能构构件件组组成成的的大大数数据据系系统统，该模型独立于供应商、实现技术和基础设施。该模型独立于供应商、实现技术和基础设施。三、三、信息技术信息技术 大数据大数据 技术参考模型技术参考模型28该技术参考模型展示了一个通用的、由逻辑功能构件组成的大数据系n大数据价值链的两个维度组织：三、三、信息技术信息技术 大数据大数据 技术参考模型技术参考模型29大数据价值链的两个维度组织：三、信息技术 大数据 技术参考n五个角色+两个重要的逻辑构件：安全和隐私安全和隐私管理管理代表大数据系统中存在的不同技术角色能够为大数据系统的其他五个主要构件提供服务和功能三、三、信息技术信息技术 大数据大数据 技术参考模型技术参考模型30五个角色+两个重要的逻辑构件：安全和隐私管理代表大数据系统中已上报申请立项标准已上报申请立项标准序号已申请国家标准名称牵头单位1信息技术 大数据 基于参考架构下的接口框架华为2信息技术 大数据 分类指南中科院信工所3信息技术 大数据 系统通用规范电子四院4信息技术 大数据 系统运维和管理功能要求华为5信息技术 大数据 存储与处理系统功能要求华为6信息技术 大数据 存储与处理系统功能测试规范华为7信息技术 大数据 分析系统功能要求浪潮电子8信息技术 大数据 分析系统功能测试规范浪潮电子9信息技术 大数据 面向应用的基础计算平台基本性能要求浪潮电子10信息技术 大数据 开放共享 第1部分：总则电子四院11信息技术 大数据 开放共享 第2部分：政府数据开放共享基本要求国家信息中心12信息技术 大数据 开放共享 第3部分：开放程度评价电子四院13信息技术 工业大数据 术语数码大方14信息技术 工业大数据 参考架构数码大方15信息技术 工业大数据 工业订单元数据数码大方16信息技术 工业大数据 产品核心元数据规范电子四院17信息技术 电子商务大数据 采集规范京东18信息技术 电子商务大数据 仓库建设模型京东19信息技术 电子商务大数据 应用指标体系 第2部分：电子商务大数据京东已上报申请立项标准序号已申请国家标准名称牵头单位1信息技术31开放程度形式许可证数据在网站上可用（任意格式）开放许可证作为结构化数据可用（比如Excel，而不是表的扫描图）开放许可证以一种开放的、非专属的形式可用（比如，CSV、XML而不是Execl）开放许可证除了使用开放的格式，使用统一资源定位符（URLs）识别使用来自W3C的开放标准和推荐的事物开放许可证除了使用开放格式和URLs识别事物，链接数据到其他用户的数据，提供上下文环境开放许可证数据开放程度衡量标准数据开放程度衡量标准英国内阁办公室英国内阁办公室开放数据白皮书开放数据白皮书四、工作重点：数据资源开放共享四、工作重点：数据资源开放共享32开放程度形式许可证数据在网站上可用（任意格式）开放许可证32四、工作重点：数据资源开放共享四、工作重点：数据资源开放共享33四、工作重点：数据资源开放共享33提出重点标准研制提出重点标准研制标准名称参编单位大数据开放共享 第1部分：总则中国电子技术标准化研究院、国家信息中心、北京信息资源中心、华为技术有限公司、上海卓繁信息技术股份有限公司大数据开放共享 第2部分：政府数据开放共享基本要求国家信息中心、中国电子技术标准化研究院、阿里云计算有限公司、上海卓繁信息技术股份有限公司、北京市信息资源管理中心大数据开放共享 第3部分：开放程度评价中国电子技术标准化研究院、国家信息中心、北京信息资源中心、华为技术有限公司、上海卓繁信息技术股份有限公司信息技术 大数据开放共享 第4部分：政府资源目录体系拟立项四、工作重点：数据资源开放共享四、工作重点：数据资源开放共享34提出重点标准研制标准名称参编单位大数据开放共享 第1部分：34收集各领域元数据相关标准，建立元数据资源库已收集到的各领域元数据相关标准已收集到的各领域元数据相关标准相关标准研制相关标准研制元数据资源库元数据资源库对外开放，提供服务对外开放，提供服务四、工作重点：数据资源开放共享四、工作重点：数据资源开放共享35收集各领域元数据相关标准，建立元数据资源库已收集到的各领域元35甲方：甲方：通过通过DCMMDCMM对对自身自身（行业、地方、领（行业、地方、领域、企业）评估，识别域、企业）评估，识别差距差距，找到，找到措施措施对对乙方乙方评估，找到合适评估，找到合适技术提供方技术提供方数据数据策略策略未来整体未来整体规划规划，指导部署指导部署数据数据战略战略定义数据定义数据需求需求，指导对数据资产的，指导对数据资产的分布控制与整合分布控制与整合建立数据标准建立数据标准体系体系，控制数据，控制数据质量质量与安全与安全提升人员提升人员数据管理能力数据管理能力，保障数据，保障数据生命周期生命周期乙方：乙方：准确准确定位定位甲方的甲方的能力和需求能力和需求，从而从而提出提出针对性的大数据针对性的大数据解决方案解决方案对对甲方甲方进行大数据能力进行大数据能力评估和认证评估和认证提供对机构和人员提供对机构和人员DCMMDCMM的认可的认可通过通过DCMMDCMM认证，在项目招投标中证认证，在项目招投标中证明自身具备数据明自身具备数据规划、管理和咨询规划、管理和咨询的能力的能力提供提供DCMMDCMM的咨询和培训服务的咨询和培训服务实施的意义实施的意义行业行业地方地方企业企业领域领域用户用户第三方第三方四、工作重点：数据能力成熟度评估四、工作重点：数据能力成熟度评估36甲方：乙方：实施的意义数据能力成熟度评估行业四、工作重点：数36结合已经申请的国家标准信息技术 大数据 系统通用规范，从可靠性、易用性、维护性、可移植性、安全可靠等功能方面对大数据系统做出规范，给出测试方法及用例等。目前草案已经完成，准备结合工作组更多的技术厂商开展相关测试验证工作。四、工作重点：大数据系统测试四、工作重点：大数据系统测试37结合已经申请的国家标准信息技术 大数据 系统通用规范，从37四、重点领域：数据质量标准化四、重点领域：数据质量标准化n需求数据生命周期数据生命周期报表及相关数据是否准确、可信？报表及相关数据是否准确、可信？信息系统的整体数据质量状况如何？信息系统的整体数据质量状况如何？跨系统数据之间是否存在矛盾或者不一致的地方？跨系统数据之间是否存在矛盾或者不一致的地方？业务数据的上报是否及时？数据的波动性、有效性如何？业务数据的上报是否及时？数据的波动性、有效性如何？质质质质量量量量问问问问题题题题 在在通通过过信信息息化化手手段段进进行行业业务务部部门门横横向向贯贯通通的的过过程程中中，由由于于数数据据质质量量存存在在的的问问题题严严重重影影响响了了信信息息化化和和数数据据的的可可信信度度，由由此此对对公公司司业业务务运运行行及及决决策策支持等均带来负面影响支持等均带来负面影响在复杂的企业信息环境下，数据在创建、存储、应用、维护、迁移、报废的整个生在复杂的企业信息环境下，数据在创建、存储、应用、维护、迁移、报废的整个生命周期中的各个环节中，都会产生不同的数据质量问题命周期中的各个环节中，都会产生不同的数据质量问题信息数据信息数据生命周期生命周期数据存储数据存储数据应用数据应用数据维护数据维护数据迁移数据迁移数据报废数据报废数据创建数据创建人力人力资源资源复杂的信息环境复杂的信息环境统计统计分析分析财务财务管理管理合同合同管理管理客户客户管理管理38四、重点领域：数据质量标准化需求数据生命周期报表及相关数据是四、重点领域：数据质量标准化四、重点领域：数据质量标准化n数据质量管理企业面临的问题哪些关键信息缺失哪些关键信息缺失?企业常见的数据质量问题企业常见的数据质量问题?哪些数据相互矛盾哪些数据相互矛盾?哪些数据是否可以清晰哪些数据是否可以清晰表达表达?哪些数据没有按照时间哪些数据没有按照时间的要求进行上传的要求进行上传?哪些数据是重复进行哪些数据是重复进行定义的定义的?完整性完整性哪些数据没有按照要求哪些数据没有按照要求的规则存储？的规则存储？规范性规范性一致性一致性准确性准确性重复性重复性及时性及时性39四、重点领域：数据质量标准化数据质量管理企业面临的问题哪些四、四、重点领域：数据质量标准化重点领域：数据质量标准化n概念数据质量问题及其研究由来已久,特别伴随着计 算机为主的信息技术发展而逐渐成为被广泛关注的研 究热点。虽然如此,但至今业界仍然没有就数据质量 的概念达成共识,而“满足应用需求的程度(fitness for use)”这一概念较被认可。40四、重点领域：数据质量标准化概念40四、四、重点领域：数据质量标准化重点领域：数据质量标准化n技术架构度量度量分析分析提高提高数据质量管理评估数据质量管理评估41四、重点领域：数据质量标准化技术架构数据质量指标数据质量评四、四、重点领域：数据质量标准化重点领域：数据质量标准化n数据质量指标42四、重点领域：数据质量标准化数据质量指标42四、重点领域：数据质量标准化四、重点领域：数据质量标准化n数据质量管理数据质量是统计分析的基础数据质量是统计分析的基础数据质量是管理创新的需求数据质量是管理创新的需求数据质量是数据中心建设的需求数据质量是数据中心建设的需求数据质量是监管的需要数据质量是监管的需要数据是企业的重要资产，良好的数据质量可以提高数据的利用价值，帮助企业更准确的判断未来的发展趋势。数据质量管理是数据中心标准规范建设的一部分，也是企业基础数据库建设的必要组成.数据资产管理是信息化发展的新的趋势，是企业中各个业务系统建设的需求，也是企业信息化管理创新的需要。通过数据质量管理可以保证上报数据的及时性、准确性，满足上下级之间数据监管的需要数据质量数据质量管理管理企业信息化的快速发展，累积了大量的数据，如何最大化这些数据的企业信息化的快速发展，累积了大量的数据，如何最大化这些数据的ROIROI，如何更好的利用这些数据进行决策分析是企业信息化面临的最大的问题。，如何更好的利用这些数据进行决策分析是企业信息化面临的最大的问题。43四、重点领域：数据质量标准化数据质量管理数据质量是统计分析的四、四、重点领域：数据质量标准化重点领域：数据质量标准化n数据质量标准化情况 数据质量数据质量国际标准国际标准企业标准企业标准行业标准行业标准国家标准国家标准组织标准组织标准DAMA DMBOK数据质量度量，数据数据质量度量，数据质量模型，数据质量质量模型，数据质量指标，能力成熟度模指标，能力成熟度模型，物联网数据质量型，物联网数据质量1.ISO 19100 地理信息地理信息 质量质量2.JTC1/SC7 25012/25041IBM、Oracle2019年有两个元年有两个元数据质量的标准数据质量的标准数据数据 是企业信息化建设的核心，是企业信息化建设的核心，质量是企业信息化建设的灵魂质量是企业信息化建设的灵魂44四、重点领域：数据质量标准化数据质量标准化情况 数据四、重点领域：数据质量标准化四、重点领域：数据质量标准化n数据质量标准化需求数据质量评价指标数据质量评价模型数据质量管理体系数据质量管理评估体系45四、重点领域：数据质量标准化数据质量标准化需求45四、工作重点：工业大数据四、工作重点：工业大数据产品加工数据、零部件配置关系、变产品加工数据、零部件配置关系、变更记录数据、测试数据、生产设备、更记录数据、测试数据、生产设备、质量控制等数据质量控制等数据产品设计、建模数据、产品设计、建模数据、产品结构数据等产品结构数据等个性化定制数据、市场个性化定制数据、市场营销等数据营销等数据业务管理、组织结构、业务管理、组织结构、电子商务、市场数据电子商务、市场数据产品故障检测数据、产品故障检测数据、标识数据标识数据46四、工作重点：工业大数据产品加工数据、零部件配置关系、变更记四、工业大数据标准重点四、工业大数据标准重点工业大数据术语和参考架构工业大数据术语和参考架构 目前制造领域对工业大数据的理解和认识水平参差不齐，没有达成共目前制造领域对工业大数据的理解和认识水平参差不齐，没有达成共识的术语和参考结构。识的术语和参考结构。元数据和标识元数据和标识 如不加以规范和解决，产品采购、研发、生产、管理、销售、应用、如不加以规范和解决，产品采购、研发、生产、管理、销售、应用、运维等各环节中数据将不能贯通。运维等各环节中数据将不能贯通。工业大数据质量工业大数据质量 与工业与工业企业的业务水平、业务绩效存在十分密切联系。企业的业务水平、业务绩效存在十分密切联系。需要需要为智能制为智能制造行业中的数据质量评定提供一套可供参考的、切实有效的技术依据。造行业中的数据质量评定提供一套可供参考的、切实有效的技术依据。工业大数据资产管理工业大数据资产管理 工业大数据工业大数据资产是企业间竞争的核心因素。资产是企业间竞争的核心因素。需要需要为数据资产管理业务为数据资产管理业务所涉及的各个主体和活动提供规范，从而能有效提高不同产业和企业所涉及的各个主体和活动提供规范，从而能有效提高不同产业和企业对数据资产概念的理解以及对数据资产管理的认识对数据资产概念的理解以及对数据资产管理的认识。47四、工业大数据标准重点工业大数据术语和参考架构47四、工业大数据中元数据和四、工业大数据中元数据和OIDOID标识体系标识体系标识分布式解析对象OID标识服务器1产品生产元数据智能制造中的对象（人、组织、产品等）数据关联OID注册解析系统服务器2产品流通元数据服务器3产品使用元数据服务器3产品回收元数据现状：不同对象标识方案不统一产品各环节信息无法互通共享解决的问题：不同厂商、种类对象的统一标识产品生产/流通/使用环节信息互通四、工业大数据中元数据和OID标识体系标识分布式解析对象OI48四、四、OIDOID标识体系是什么？标识体系是什么？OID（ObjectIdentifier，对象标识符）无歧义地标识对象的全局唯一值ISO/IEC9834-1|Rec.ITU-TX.660编码方案：XX.XX.XX.XX.树状结构，注册机构向下分配OID，无穷结点对象由从树根到结点的路径（OID）进行标识例子：农业部：OID(1.2.156.326)扩展性强分层管理四、OID标识体系是什么？OID（Object Ident49四、四、OIDOID标识体系的价值标识体系的价值l支撑物联网产业大规模应用标识体系之间不兼容、甚至相互矛盾的问题全球范围内对象标识相互理解和处理的需求l帮助用户买到高质量的产品全球范围内查询、追溯产品信息选择高质量、有保障的产品l促进信息互通、交换和共享异构标识管理系统互连，数据互通和交换政府、地区、行业协会、企业现有的标识管理系统打通产品、人、组织、机器等各类相关信息产品：原材料采购、生产、流通、销售、追溯、回收、管理等各环节的信息互通四、OID标识体系的价值 50四、四、OIDOID标识体系的价值标识体系的价值l提高企业数据管理能力，加快转型升级对企业管理对象进行标识产品、资产、部门、人员、文件、上下游客户、原材料实时监控运行状况：信息生产、仓储、销售信息提高企业运行效率，提高管理决策水平l提高政府行业管理能力充分利用各部门数据、社会化数据提高行业实时动态监管、数据分析、政策决策能力打击造假、保证市场公平环境l有效管理和利用我国信息资源l保障信息安全、维护国家主权四、OID标识体系的价值提高企业数据管理能力，加快转型升级51四、四、OIDOID顶级编码方案顶级编码方案典型行业应用国家标准行业标准地方标准RFID传感器网络二维码商业运营公司组织内部对象管理四、OID顶级编码方案典型国家标准RFID商业运营组织内部52四、四、OIDOID解析示意图解析示意图通用解析应用解析四、OID解析示意图通用解析应用解析53四、我国四、我国OIDOID应用情况应用情况OID注册中心主要职责-负责管理“ISO分支”和“ISO-ITU联合分支”下的中国OID分支-负责国内OID注册、管理、维护以及在国际备案工作四、我国OID应用情况OID注册中心主要职责54应用领域典型注册机构食品追溯农业部、河北广联公司、天辰、万信方达信息安全国家密码管理局、工业和信息化部信息安全协调司、中金金融认证中心有限公司、天威诚信电子商务有限公司、上海市、山东省、四川省、广东省等多家电子认证公司医疗卫生卫生部统计信息中心、北京大学医学院、北医三院、用友医疗卫生信息系统有限公司、北京亿仁赛博医疗设备公司等金融中国银联网络管理中国互联网络信息中心、清华大学、无线IP标准工作组、北大方正电子有限公司、广东华大集成技术有限责任公司等。监察管理公安部第三研究所协会贸促会商业分会、煤炭协会物资分会教育中央电化教育馆家电中国家电研究院智能制造智能制造安全生产安监总局四、四、OIDOID注册情况（注册情况（1 1）应用领域典型注册机构食品追溯农业部、河北广联公司、天辰、万55 物联网载体典型注册机构RFID、智能IC卡国家IC卡注册中心RFID工作组传感器网络无锡物联网产业研究院、国家传感器网络标准工作组、感知集团有限公司、无锡“感知中国”物联网商会二维码中国二维码产业联盟、武汉矽感科技有限公司、上海新大陆翼码信息科技有限公司仪器仪表重庆享控智能科技有限公司四、四、OIDOID注册情况（注册情况（2 2）物联网载体典型注册机构 RFID、智能IC卡国家IC56四、四、OIDOID注册解析系统建设注册解析系统建设OID注册解析管理系统l注册解析服务注册服务系统对接托管服务快速建立下级系统l多种互连方式国际OID树国内物联网公共平台l系统对接万信方达：激光码天辰：RFID矽感：二维码享控：仪器仪表四、OID注册解析系统建设OID注册解析管理系统 57四、四、OIDOID标准情况（标准情况（1 1）OID基础类国家标准（14项）OID注册机构操作规程信息技术开放系统互连注册机构操作规程一般规程已经发布OSI登记机构的操作规程第3部分:ISO和ITU-T联合管理的顶级弧下的客体标识符弧的登记已经发布OSI登记机构的操作规程第5部分VT控制客体定义的登记表已经发布OSI登记机构的操作规程第6部分：应用进程和应用实体已经发布OSI登记机构操作规程第8部分：通用唯一标识符的生成和登记及其用作ASN.1客体标识符组件已经发布抽象语法记法ASN.1信息技术抽象语法记法一(ASN.1):基本记法规范已经发布信息技术抽象语法记法一(ASN.1)第2部分信息客体规范已经发布信息技术抽象语法记法一(ASN.1)第3部分:约束规范已经发布信息技术抽象语法记法一(ASN.1)第4部分:ASN.1规范的参数化已经发布抽象语法记法ASN.1编码规则信息技术ASN.1编码规则第1部分：基本编码规则（BER）、正则编码规则（CER）和非典型编码规则（DER）规范已经发布信息技术ASN.1编码规则第2部分：紧缩编码规则（PER）规范已经发布OID国家编号体系信息技术开放系统互连OID的国家编号体系和注册规程已经发布解析系统信息技术开放系统互连对象标识符解析系统规范在研信息技术开放系统互连解析系统运营机构的操作规程在研四、OID标准情况（1）OID基础类国家标准（14项）信58四、标准情况（四、标准情况（2 2）OID应用性国家标准（15项）物联网总体规划物联网标识体系总则征求意见物联网标识体系OID应用指南立项，国际标准传感器网络传感器网络标识传感节点编码规范报批传感器网络标识解析和管理规范报批交通交通运输物联网解析系统征求意见交通运输物联网标识规则交通运输物联网对象分类机动车射频识别标签数据编码和存储分配要求（重庆地标）发布林业林业物联网标识与解析技术规范研制林业物联网对象分类林业物联网标识分配方案二维码企业产品追溯体系评价指标申请立项信息技术供应链平台产品二维码标识规则信息技术供应链平台应用信息数据要求信息技术供应链平台数据接口要求四、标准情况（2）OID应用性国家标准（15项）物联网物59四、四、OIDOID在应用案例在应用案例企业注册信息对象基本信息对象追溯信息四、OID在应用案例企业注册信息对象基本信息对象追溯信息60大数据技术和标准化ppt课件61大数据技术和标准化ppt课件大数据技术和标准化ppt课件五、五、ISO/IEC JTC1 WG9大数据工作组大数据工作组工作内容：工作内容：-制定大数据的基础标准-找出大数据标准化的差距-联络跟踪JTC1内部和外部组织正在开展的标准化工作-在基础标准的基础上研制其他大数据标准64五、ISO/IEC JTC1 WG9大数据工作组工作内容：6五、五、ISO/IEC JTC1 WG9大数据工作组大数据工作组工作项：工作项：信息技术 大数据 概述和术语（ISO/IEC 20546）信息技术 大数据参考架构 第1部分：框架和应用指南（ISO/IEC TR 20547-1）信息技术 大数据参考架构 第2部分：用例和需求（ISO/IEC TR 20547-2）信息技术 大数据参考架构 第3部分：参考架构（ISO/IEC TR 20547-3）信息技术 大数据参考架构 第4部分：安全和隐私（ISO/IEC 20547-4）信息技术 大数据参考架构 第5部分：标准路线图（ISO/IEC TR 20547-5）近期活动：近期活动：2019年4月7-9日在德国举办第一次工作组会议2019年7月7-9日在西班牙举办第二次工作组会议65五、ISO/IEC JTC1 WG9大数据工作组工作项：6五、五、ISO/IEC JTC1 WG9大数据工作组大数据工作组JTC1/WG9JTC1/WG9工作组会议信息：工作组会议信息：年份年份日期日期会议地点会议地点201912月1-4日巴西 巴西利亚20193月8-10日电话会议20197月12-14日中国 北京201912月之前（待定）摩洛哥 马拉喀什66五、ISO/IEC JTC1 WG9大数据工作组JTC1/W五、五、ISO/IEC JTC1 SC32数据管理与交换数据管理与交换工作范围：工作范围：研制开发和维护有利于规范和管理的元数据、元模型和本体的标准，此类标准有助于理解和共享数据、信息和过程，支持互操作性，电子商务以及基于模型和基于服务的开发，包括：建议用于规定和管理元数据、元模型和本体的框架；规定和管理元数据、元模型和本体；规定和管理过程、服务和行为数据；开发管理元数据、元模型和本体的机制，包括注册和存储；开发交换元数据、元模型和本体的机制，包括基于互联网、局域网等的语义。大数据相关工作：大数据相关工作：在2019年成立下一代分析技术与大数据研究组，并于2019年6月，启动四项为大数据提供标准化支持的新工作项目:SQL对多维数组的支持、SQL对JSON的支持、数据集注册元模型和数据源注册元模型。67五、ISO/IEC JTC1 SC32数据管理与交换工作范围五、五、ITU-T SG13第第13研究组研究组具体包括：具体包括：Q2、Q17、Q18，由，由Q17牵头开展牵头开展ITU-T大数据标准化的大数据标准化的制定工作并负责向制定工作并负责向TSAG汇报汇报Q2涉及的研究课题：涉及的研究课题：Y.IoT-BigData-reqts“针对大数据的物联网具体需求和能力要求”Q17涉及的研究课题：涉及的研究课题：Y.BigData-reqts“基于云计算的大数据需求和能力”Q18涉及的研究课题：涉及的研究课题：Y.BDaaS-arch“大数据即业务的功能架构”68五、ITU-T SG13第13研究组具体包括：Q2、Q17五、五、NIST NBD-PWG大数据公共工作组大数据公共工作组20192019年年6 6月正式成立月正式成立工作范围：工作范围：建立来自于产业界、学术界和政府的公共环境，共同形成达成共识的定义、术语、安全参考体系结构和技术路线图，提出数据分析技术应满足的互操作、可移植性、可用性和扩展性需求和安全有效地支持大数据应用的技术基础设施，用于为大数据相关方选择最佳的方案。NISTNIST计划作三个计划作三个releaserelease，以对应，以对应NBD-PWGNBD-PWG工作的三个阶段：工作的三个阶段：a)识别high-level架构关键componentb)定义参考架构components间的总体接口c)通过用这些总体接口构建大数据总体应用来确认参考架构69五、NIST NBD-PWG大数据公共工作组2019年6月五、五、NIST NBD-PWG NIST NBD-PWG大数据公共工作组大数据公共工作组5个子组及其个子组及其7个输出：个输出：NIST Big Data Definitions&Taxonomies Subgroup1.M0392:Draft SP 1500-1-Volume 1:Definitions 2.M0393:Draft SP 1500-2-Volume 2:Taxonomies NIST Big Data Use Case&Requirements Subgroup3.M0394:Draft SP 1500-3-Volume 3:Use Case&RequirementsNIST Big Data Security&Privacy Subgroup4.M0395:Draft SP 1500-4-Volume 4:Security and Privacy NIST Big Data Reference Architecture Subgroup5.M0396:Draft SP 1500-5-Volume 5:Architectures White Paper Survey 6.M0397:Draft SP 1500-6-Volume 6:Reference Architecture NIST Big Data Technology Roadmap Subgroup7.M0398:Draft SP 1500-7-Volume 7:Standards Roadmap 70五、NIST NBD-PWG大数据公共工作组5个子组及其7推动ISO/IEC JTC1/WG9大数据工作组成立2019年4月7-9日，参加WG9第一次会议会议讨论新工作项目信息技术 大数据 概述和术语、信息技术 大数据 参考架构的相关内容推荐华为代表为信息技术 大数据 概述和术语的联合编辑2019年12月1-4日，参加WG9第三次会议任命了WG9与各组织间的联络代表针对WG9活动宣传、ISO/IEC 20547-3信息技术 大数据参考架构 第3部分：参考架构、ISO/IEC 20547-4信息技术 大数据参考架构 第4部分：安全与隐私保护结构设立了3个特设组推荐中电长城网际代表为WG9与JTC1 SC27的联络人及ISO/IEC 20547-4特设组的主席2019年3月8-11日，参加WG9第四次会议中国提交6项贡献物，中电长城网际代表担任ISO/IEC 20547-4编辑，华为代表担任参考架构接口特设组的联合主席五、参与国际标准化工作五、参与国际标准化工作71推动ISO/IEC JTC1/WG9大数据工作组成立五、参与71为相关部委、地方、行业提供标准化支撑工作部委 发改委电子信息产业大数据领域形势分析、数据资源开放共享 工信部数据分类、大数据“十三五”规划等国标委大数据领域产业、标准发展情况以及应对措施等科技部大数据重大工程行业智能制造工业大数据服务标准化安全生 产行业（安监总局）安全生产大数据标准化新华社数据标准服务林业（林业局）林业行业数据标准食药监局标准规划的准备地方贵阳贵阳大数据标准建设 成都健康大数据，政府资源共享北京、上海、湖北、成都。六、政府支撑工作六、政府支撑工作为相关部委、地方、行业提供标准化支撑工作部委 发改委电子信息72内内 容容大数据发展背景标准化工作现状下一步工作重点73内 容 大数据发展背景7374n 组织建设组织建设组建了较为稳定的工作组工作平台，凝聚相关“产学研用”的力量建立了与大数据产业相关企业的沟通和合作渠道一、下一步工作重点一、下一步工作重点74 组织建设组建了较为稳定的工作组工作平台，凝聚相关“产学7475n 重点领域的标准化推进重点领域的标准化推进政府数据开放共享OID标识元数据数据质量数据分类安全与隐私大数据平台评价体系二、下一步工作重点二、下一步工作重点75 重点领域的标准化推进政府数据开放共享二、下一步工作重点7576n 标准化支撑和对外合作标准化支撑和对外合作部委行业地方其他组织三、下一步工作重点三、下一步工作重点76 标准化支撑和对外合作部委三、下一步工作重点7677n 加强国际标准化工作加强国际标准化工作关注国际相关标准和技术的最新动向深入参与国际标准化工作四、下一步工作重点四、下一步工作重点77 加强国际标准化工作关注国际相关标准和技术的最新动向四、7778n 业务规划业务规划共性技术共性技术研发支持研发支持标准研制标准研制试验验证试验验证评估、评估、测试测试咨询咨询培训与体验培训与体验五、下一步工作重点五、下一步工作重点78 业务规划共性技术研发支持标准研制试验验证评估、测试78科学、公正、诚信、服务科学、公正、诚信、服务团结、和谐、创新、高效团结、和谐、创新、高效科学、公正、诚信、服务79供娄浪颓蓝辣袄驹靴锯澜互慌仲写绎衰斡染圾明将呆则孰盆瘸砒腥悉漠堑脊髓灰质炎(讲课2019)脊髓灰质炎(讲课2019)谢谢！供娄浪颓蓝辣袄驹靴锯澜互慌仲写绎衰斡染圾明将呆则孰盆瘸谢谢！供娄浪颓蓝辣袄驹靴锯澜互慌仲写绎衰斡染圾明将呆则孰盆瘸80