《大数据及档案管理》课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,大数据与档案管理,上海大学图书情报档案系,2013,年,12,月,大数据及档案管理课件,1. 大数据概述,1. 大数据概述,除了上帝,任何人都必须用数据来说话,除了上帝任何人都必须用数据来说话,1.1,大数据的定义,大数据是指其大小超出了典型数据库软件的采集、存储、管理和分析等能力的数据集。,麦肯锡研究院（,MGI,）,大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。,高德纳（,Gartner Group,）,大数据指的是如此大而复杂以致现有的数据管理工具或传统数据处理手段无法处理的数据集。,维基百科（,Wikipedia,）,1.1 大数据的定义,康奈尔大学计算机科学家,JonKleinberg,称，“大数据这个术语本身很模糊，但在某些方面却又非常具体，大数据是可能改造一切的一种过程的标签”。,对于处在探索期的大数据研究来说，与其准确地予以限定性分析，倒不如更多地将精力放在对其特征、内涵的探寻和运用的研究之中。,从研究者角度而言，与其寻找一个公认的定义，倒不如去分析这样的问题：当大数据来临时，就某一具体的业务（如数字档案馆、电子文件等）而言，我们是否可以富有想象力地回答，大数据究竟会对某一特定领域带来何种影响，以及人们面对这些影响所获得的机遇是什么？这才是我们跨学科研究的旨义所在，而这无疑具有更加重要的意义。,大数据及档案管理课件,1.2,大数据的特征（,4V,）,1.2 大数据的特征（4V）,大量（,Volume,）,数据中的数据不再以几个,GB,或几个,TB,来衡量，而是以,PB,（,1,千个,T,）、,EB,（,1,百万个,T,）或,ZB,（,10,亿个,T,）为计量单位。,IDC2011,年,6,月报告显示，全球数据量在,2011,年已达到,1.8ZB,，“如果把所有这些数据都刻录存入普通,DVD,光盘里，光盘的高度将等同于从地球到月球一个半来回，也就是,720 000,英里。相当于每位美国人每分钟写,3,条,Twitter,，而且还要不停地写,2.6976,万年”。,大量（Volume）,速度（,Velocity,）,大数据往往以高速实时数据流的形式动态产生，具有很强的时效性。,2010,年，据英国研究咨询公司,Coda,预测，移动网络数据流量在未来五年有望增长,40,倍，用户上传的内容将爆发式增长。,对大数据的处理速度要非常快。传统数据仓库系统、,BI,应用都是批处理方式，但对于大数据应用，必须进行实时数据流处理。比如对于灾难的预测，需要很快地对发生的程度、影响的区域范围等进行量化。,速度（Velocity）,多样（,Variety,）,一是数据来源多，随着科技的发展，大数据数据来源和承载方式多种多样，如微博、社交网站、传感器等，数据处于分散状态。,二是数据类型多，包括结构化数据（如企业、行业内数据）、半结构化数据（物联网数据）、非结构化数据（互联网数据），并且据,Gartner,预计，,2012,年“半结构和非结构化的数据，诸如文档、表格、网页、音频、图像和视频等将占全球网络数据量的,85%,左右”。,多样（Variety）,价值（,Value,）,由于大量有用与可能没用的数据并存，因此大数据可谓是“遍地都是金子，又遍地都是沙子”。,一方面，大数据的价值密度较低，以视频监控为例，在连续不断的监控流中，可能仅有一两秒的影像是有用的数据。,另一方面，虽然单条数据并无多大价值，但庞大的数据量则是一座“富矿”，将已有的结构化与非结构化数据进行融合、分析后，将会从中挖掘出极高的价值。特别是竞争激烈的商业领域，数据正成为企业的新型资产，企业都在追求数据价值的最大化。,价值（Value）,1.3,大数据的认识误区,大数据之大并不仅仅指容量,在大数据的认识上，很多人存在这么一个误区：只有几百,TB,乃至,PB,的数据才能称之为大数据。事实上，“大数据并非总是说有数百个,TB,才算得上，根据实际使用情况，有时候数百个,GB,的数据也可称为大数据，这主要看它的第三个维度，也就是速度或时间维度”。,事实上，解决一个问题的数据规模有一个阈值。“数据少于这个阈值，问题解决不了；达到这个阈值，就可以解决以前解决不了的大问题；而数据规模超过这个阈值，对解决问题也没有更多的帮助”。,1.3 大数据的认识误区大数据之大并不仅仅指容量,今天的大数据将不再是明天的大数据,当前，大数据的定义是相对于目前的技术和资源而言的，随着时间的推移，处理数据的工具和技术、原始存储空间和处理能力的提升，大数据的界定也必然会发生变化。,今天的大数据明天可能不再被认为是大数据，就像,10,年前的大数据在如今看来什么都不是一样，大数据会继续演进下去。如今，在数据容量、速度、多样性、复杂度等方面被认为是不可能的或无法想象的事情、几年过后情况会完全不同，这是一个多年不变的定律，在大数据时代也同样适用。,今天的大数据将不再是明天的大数据,大数据的价值在于分析与应用,很多人认为，正是由于大数据的大容量、高速和多样性，才使得他们比其他数据更具有优势且更重要。然而，“大”和“数据”都不是大数据中最重要的。事实上，拥有任何一个数据集，无论它们多大或者多小，其自身都不会带来任何价值。被收集来的数据如果从不使用，不会比存放在阁楼或地下室的垃圾更有价值。,大数据的价值体现在如何分析它们，并采取怎样的措施来提升本身的业务水平。换言之，数据即服务。,大数据的价值在于分析与应用,大数据是一种服务变革,本质而言，大数据是信息爆炸时代对数据核心价值的再挖掘，其中综合运用到去冗降噪技术、语义引擎、可视化分析等，因此被很多专业人士认为是继云计算、物联网之后,IT,行业的又一次颠覆性变革。,事实上，大数据“不仅仅是技术变革，更实质上的是计算机服务时代的来临，对数据的抽丝剥茧、总结结论更体现了计算机行业正从技术供应型转为服务供应。,大数据是一种服务变革,1.4,大数据与云计算、数据挖掘的区别,首先，本质上，云计算改变了,IT,，而大数据则改变了业务。云计算的目的是通过互联网更好地调用、扩展和管理计算及存储资源和能力，因而从根本上改变了单位的,IT,架构。大数据使得企业从“业务驱动”转变为“数据驱动”，从而改变了企业的业务架构。,其次，云计算与大数据的目标受众不同。云计算的主要推动力量是存储及计算设备的生产厂商和拥有计算及存储资源的企业，因此云计算是卖给,CIO,的技术和产品，是一个进阶的,IT,解决方案。大数据的直接受益者不是,IT,部门，而是业务部门，产业发展的主要推动力量是从事数据存储于处理的软件厂商和拥有大量数据的企业，因此是卖给,CEO,、业务层的产品。,1.4 大数据与云计算、数据挖掘的区别首先，本质上，云计算改,大数据及档案管理课件,换言之，云计算与大数据实际上是工具和用途的关系。云计算为大数据提供强大的存储和计算能力，更加迅速地处理大数据的丰富信息，并更方面的提供服务；来自大数据的业务需求，能为云计算的落地找到更多更好的实际应用。,如果说云计算为数据资产提供了保管、访问的场所和渠道，那么如何盘活数据资产，使其为国家治理、企业决策乃至个人生活服务，则是大数据的核心议题。,换言之，云计算与大数据实际上是工具和用途的关系。云计算为大数,总之，大数据处理会利用到云计算领域的很多技术，但大数据并非完全依赖于云计算；反过来，云计算之上也并非只有大数据这一种应用，“云计算和大数据共同引领以数据为原料，计算为能源的又一次生产力的大解放，甚至可以与以蒸汽机的使用和电气的使用为代表的第一次工业革命和第二次工业革命相媲美”。,总之，大数据处理会利用到云计算领域的很多技术，但大数据并非完,首先在数据量上，传统的数据挖掘通常是存储在数据库或者文件中的数据，数据量相对较小，一般为,TB,级以下，大数据技术能实现对,PB,量级数据的处理，因此，大数据时代将实现从样本数据到全体数据处理的转变。,其次，在数据特性上，传统的数据挖掘一般只能对结构化信息进行处理，处理的信息大多是非实时信息，大数据技术能够实现对结构化、半结构化特别是非结构化信息的处理，处理的信息大多是实时信息。,最后，两者的分析手段与方法也有差别，传统数据挖掘的主要算法以统计学为基础，分类和预测是两种常见的数据分析形式，主要包括探索性数据分析（,Exploratory Data Analysis,EDA,）和验证性数据分析（,Confirmatory Data Analysis,CDA,）,而大数据挖掘不仅仅需要统计学方法，还大量使用了机器学习、人工智能、知识图谱等算法。,大数据与数据挖掘,首先在数据量上，传统的数据挖掘通常是存储在数据库或者文件中的,大数据时代的来临，标志着传统数据挖掘方法已经不再适应日新月异的数据环境，在数据采集、数据存储、数据分析以及可视化等诸多方面捉襟见肘。,当然，大数据这一概念之所以能够引发共识成为当前热点，最为重要的是，各个行业领域具有了对大数据分析和利用的巨大现实需求和具体应用需求。显然，这些都不是传统数据挖掘所能解决的，而这也正是是众多,IT,企业将大数据定义为现有处理工具或手段无法处理的数据集的原因所在。,大数据时代的来临，标志着传统数据挖掘方法已经不再适应日新月异,1.5,大数据应用,1.5 大数据应用,大数据在商业中的应用,大数据就像货币或黄金一样，是一种新型的经济资产。,2012.1,达沃斯世界经济论坛,大数据，大影响,大数据在商业中的应用大数据就像货币或黄金一样，是一种新型的经,大数据在社会管理中的应用,大数据在社会管理中的应用,“,Google,登革热趋势”，利用搜索数据近乎实时地估计登革热在全球的传播情况。,（蓝色,该系统估计数据；橙色,巴西官方统计数据）,“Google登革热趋势”，利用搜索数据近乎实时地估计登革热,美国流感传染率的官方数据与基于,Twitter,的数据比较,美国流感传染率的官方数据与基于Twitter的数据比较,1.6,大数据发展（宏观）,1.6 大数据发展（宏观）,在大数据发展上，美国是第一个吃“螃蟹”的国家。美国的大数据计划萌芽于“数据开放运动”，,2009,年,5,月,21,日，,Data.Gov,上线发布，在其目标和使命陈述中指出，,Data.Gov,的主要目标是“开放联邦政府的数据，通过鼓励新的创意，让数据走出政府、得到更多的创新型运用。,Data.Gov,致力于政府透明，全力把政府推向一个前所未有的开放高度。它带来的开放将巩固我们国家的民主，提高政府的效率和效能”。,美国,在大数据发展上，美国是第一个吃“螃蟹”的国家。美国的大数据计,大数据及档案管理课件,2012,年,3,月,29,日，奥巴马政府发布,大数据研究和发展计划,，旨在提高从海量、复杂的数据中获取真知灼见的能力，加速在科学与工程领域创新步伐，增强国家安全，转变教育和学习模式。,根据这个计划，美国政府将开发及加强大数据系统，使之能够进行数据采集、保留、存储、管理、分析，以及分发大数据分析的结论。对此，奥巴马政府组建了“大数据高级指导小组”，以协调政府在大数据领域的两亿多美元投资。此举标志着，美国把应对大数据技术革命带来的机遇和挑战，上升到国家战略层面，形成了全体动员格局。,2012年3月29日，奥巴马政府发布大数据研究和发展计划,大数据及档案管理课件,2010,年,1,月，英国政府的数据开放网站正式出台：,Data.Gov.uk,。除去地理信息之外，该网站公布了,3000,多项民生数据。而这个时候，美国的,Data.gov,虽然已经运营了半年多，却还仅仅只有,1000,多项民生数据。,2010,年,5,月，戴维,.,卡梅伦出任首相后，提出了“数据权”（,Right to Data,）的概念，指出“数据权”是信息时代每一个公民都拥有的一项基本权利，并承诺要在全社会普及“数据权”。,2012,年,11,月，英国政府发布新的政府数字化战略，旨在使政府服务实现“默认数字化”，承诺,2015,年前开放有关交通运输、天气和健康方面的核心公共数据库，并投资,1000,万英镑建立世界上首个“开放数据研究所”（,Open Data Institute,）。,英国,2010年1月，英国政府的数据开放网站正式出台：Data.G,2013,年,6,月，日本公布了新的,IT,战略,创建最尖端,IT,国家宣言，全面阐述了,2013-2020,年期间以发展开放公共数据和大数据为核心的日本新,IT,国家战略。 值得注意的是，在日本的大数据产业发展中，很多专业人士提出“在进一步充分利用匿名化技术，制定合理、活用的大数据规则”的前提下，要修改并进一步完善个人信息保护法规。,2013,年,8,月，澳大利亚政府信息管理办公室（,AGIMO,）发布了,公共服务大数据战略,，该战略以六条“大数据原则”（数据属国有资产；从设计着手保护隐私；数据完整性与程序透明度；技巧、资源共享；与业界和学界合作；强化开放数据）为支撑，旨在推动公共行业利用大数据分析进行服务改革，制定更好的公共政策，保护公民隐私，使澳大利亚在该领域跻身全球领先水平。,日本、澳大利亚,2013年6月，日本公布了新的IT战略创建最尖端IT国家,我国的大数据战略（国家层面）,2013.2,，国务院,关于推进物联网有序健康发展的指导意见,发布，提出要“加快传感器网络、智能终端、大数据处理、智能分析、服务集成等关键技术研发创新”。,2012.3.29,（与美国大数据计划同日），我国科技部发布“十二五国家科技计划信息技术领域,2013,年度备选项目征集指南”，将大数据研究列在首位。,2011.11,，工业和信息化部发布的,物联网“十二五”发展规划,发展规划中，把信息处理技术作为,4,项关键技术创新工程之一被提出，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成部分。,此外，,2013,年两会期间，有人大代表建议把大数据上升为国家战略。,我国的大数据战略（国家层面）,2012.11,，广东省颁布了,广东省实施大数据战略工作方案,，率先启动了大数据战略，拟在财政、环保、招投标等领域率先开展数据公开试点，逐步推进，通过互联网等形式发布并公开数据。,2013.7,月,上海市政府有关部门发布了,推进大数据研究与发展三年行动计划,(2013,一,2015,年,),将重点选取金融证券、互联网、数字生活、公共设施、制造和电力等具有迫切需求的行业,开展大数据行业应用研发,探索“数据、平台、应用、终端”四位一体的新型商业模式,促进产业发展。,2013.8,月，重庆市政府印发,重庆市大数据行动计划,，明确提出将抢抓全球大数据战略资源，将大数据产业培育成全市重要的战略性新兴产业。,我国的大数据战略（地方层面）,2012.11，广东省颁布了广东省实施大数据战略工作方案,我们的确正在起航，在庞大的新数据来源的支持下，量化的前进步伐将会踏遍学术、商业和政府领域，没有一个领域可以不被触及。,哈佛大学量化社会科学研究所主任,Gary King,大数据正构成我们明天的新大陆，从,2012,年开始，我们将从大陆时代，移民进入大数据时代。,中国社科院信息化研究中心秘书长、,互联网周刊,主编姜奇平,一个档案工作者应是首先想到未来的人。,国际档案理事会主席马丁,.,博伦斯,2.,大数据时代的档案馆,我们的确正在起航，在庞大的新数据来源的支持下，量化的前进步伐,对于数据的理解，首先源于数据一种资源。大数据时代,数据的资源特性更加明显,成为一种“战略性原料”，奥巴马则将数据定义为“未来的石油”，是与陆权、海权、空权同等重要的“国家核心资产”。从资源语境去理解大数据时代的档案馆，具有两层含义：,2.1,资源维度,对于数据的理解，首先源于数据一种资源。大数据时代,数据的资源,（,1,）档案馆数据资源总量庞大且增长迅速。,2008,年我国各级国家档案馆共保存档案,1.93,亿卷，较上年增加,1769,万卷，增幅达,10%,，而到,2011,年各级国家档案馆馆藏已达,3.3,亿卷，到,2020,年，各级国家档案馆馆藏将达到,6,亿多卷。,2012,年底，北京市和各区县档案馆共完成纸质档案数字化,8759.5,页，接收电子档案,48TB,，市档案馆已完成纸质档案数字化,4397,万页，占馆藏的,63%,。上海,17,区县档案馆档案数字化共超过,3.6,亿页，占馆藏,50%,以上，部分区县达,90%,以上。,2009,年底，,ERA,接收的电子文件实际总量已达到,77TB,，此后平均每季度至少采集,10TB,的电子文件，,2011,年,3,月达到了,108.2TB,，,2011,年底达到,124TB,。,2.1.1,档案馆具有“大数据”的特征,（1）档案馆数据资源总量庞大且增长迅速。2,（,2,）档案馆数据资源种类繁杂，结构多样,在档案馆的数据资源中，既有数字化的纸质档案、接收进馆的电子文件、音视频数据库等，也有用户利用信息、服务数据等数据资源，这些数据资源分布在不同的系统中，格式、特征等形式多样，组织方式各异，而各馆之间更是差异明显，从而形成了大量的异构数据。,（,3,）,档案馆数据资源价值丰裕度、凝聚度很高,作为国家和社会精心保存的历史记录，毫无疑问，档案这种数据资源具有很高的价值。与绝大部分数据资源“价值总量高、价值密度低”的特性相比，“档案是一种最真实、最可靠、最具权威性与凭证性的原生信息资源”，可以说是整个社会数据资源中最为精华的部分。,（2）档案馆数据资源种类繁杂，结构多样,毫无疑问，档案馆是社会信息家族的“大户”，也具备大数据的特征。然而，大数据时代背景下，社会需要一个什么样的档案馆，是无所作为从而在大数据时代进一步边缘化，抑或借助大数据重新回到“上帝”身边？档案馆又需要怎样的“大数据”，是固守以前档案资源建设的老路，还是树立大数据观从而更好地契合时代脉搏？这需要档案馆重新审视自己的目标定位。,2.1.2,大数据视阈的数字记忆资源库,毫无疑问，档案馆是社会信息家族的“大户”，,显然，作为社会记忆的建构者与保存者，大数据时代，数字记忆的保存应是档案馆的社会自觉与文化担当，构建一个“基于互联网的，以档案数字资源为主体，以文本、图片、音频、视频等为形式，为中华民族集体记忆的建构和传承提供文献支撑的中国记忆数字资源库”,将成为我们新的目标与使命。,显然，作为社会记忆的建构者与保存者，大数据时代，数字记忆的保,一方面，各级国家档案馆是集中统一保管党和国家档案的科学文化事业机构，是永久保管档案的基地，是社会各界利用档案史料的中心。,因此，作为一种机构性存在与制度性安排，国家档案馆的公益性、服务性、公平性、永久性等特征，使得档案馆成为人们心目中最系统、最可信赖的数据资源库。,另一方面，档案馆在数据处理上具有丰富的经验。,考察数据生命周期，涉及到数据生成、采集、传输、处理、分析、应用等阶段，而这也恰恰是档案馆熟悉的业务范畴，因此档案馆可以通过模拟或借鉴传统档案处理的整套业务规范或流程来指导海量数据集的处理，档案馆“对知识规范性控制的思想和技术方法恰巧在大数据领域有了用武之地”。,一方面，各级国家档案馆是集中统一保管党和国家档案的科学文化事,大数据时代，档案馆应从狭义档案资源观向 “大档案观”转变，尽可能地收集全面数据、完整数据和综合数据，更多地关注一些底层化、碎片化、复杂化的信息，从而构建一幅反映国家和社会变迁的实时全景图。,在进一步推进纸质档案数字化、加快电子文件接收进馆的基础上，档案馆要有意识地收集一些诸如电子邮件、网页、社交媒体等价值重大、形式多样的数据资源，从而实现档案资源全媒体保存，真正建立覆盖人民群众的、满足长远需要的档案资源体系。,大数据时代，档案馆应从狭义档案资源观向 “大档案观”转变，尽,数据一直存在，那么如今又何以称为大数据呢？这主要是因为数据集如此庞大、复杂以致现有的数据管理工具或传统数据处理手段无法处理。因此，从技术角度讲，大数据的产生是这个时代的产物。,事实上，白宫大数据白皮书,Fact Sheet: Big Data Across the Federal Government,中对,NARA,的规划也主要是从技术层面进行：为十亿电子记录（,CI-BER,）的网络基础设施是一个联合机构主办的测试平台，这个多机构主办的网络基础设施，对国家档案馆,87,万多样化的数字记录的文件和信息的收集，可称为计算研究所的文艺复兴。这个试验台将评估技术和方法，超大规模数据收集，以支持可持续的访问。,2.2,技术维度,数据一直存在，那么如今又何以称为大数据呢？这主要是因为数据集,从技术维度而言，大数据技术将从三个方面实现档案资源与用户需求的双向理想控制。,从技术维度而言，大数据技术将从三个方面实现档案资源与用户需求,大数据时代的到来，表征着信息资源的有效开发利用，从“谷歌流感趋势”到阿里巴巴的“信用贷款”，无一不是基于大数据的海量资源挖掘与开发。可以说，面对海量数据，谁能更好地分析挖掘，谁就能真正抢占大数据时代的先机。,对于档案馆而言，数据分析成为档案馆知识服务体系创新及完善的重要支撑。大数据时代，信息服务竞争加剧及用户需求提升推动着档案馆从常规分析向广度、深度分析转变，利用语义分析、人工智能、机器学习、知识图谱等大数据技术从海量资源中分析潜在的价值决定着大数据时代档案馆的发展水平及方向，这也意味着档案馆的传统业务将向数据分析、数据挖掘方向转移，对海量资源的分析与处理将成为档案馆的主要业务。,2.2.1,档案资源挖掘,大数据时代的到来，表征着信息资源的有效开发利用，从“谷歌流感,人类行为,93%,是可以预测的,复杂网络权威阿拉巴西,大数据应用是以用户数据为起点的，那些能帮助你更确切地知道用户是谁的数据对大数据应用来说是最重要的。,阿里巴巴大数据委员会会长车品觉,2.2.2,用户数据挖掘,人类行为93%是可以预测的2.2.2 用户数据挖掘,当前，社会对档案馆知识服务、智慧服务的要求更为苛刻，相关服务需求已经开始显现或诉诸于用户日常行为中，档案馆能否精准感知将影响到服务价值实现和用户认同提升。根据用户服务数据和网络数据，对档案馆用户身份记录、借阅记录等结构化数据及存储行为、搜索方式、行为轨迹乃至,SNS,上的言行记录等半结构化、非结构化数据进行深入分析，将有效发现用户隐性诉求，改善和提高服务方案，从而更好地提升档案馆的服务。,事实上，档案部门已有初步尝试，,NARA,通过分析用户对馆藏目录的点击率，选取点击率高的档案进行数字化，进而开展深层次的信息服务，取得了很好的效果。,当前，社会对档案馆知识服务、智慧服务的要求更为苛刻，相关服务,无论是档案资源还是用户数据，往往以孤立的数据和分散的链接这种形式存在，“数据的共性、网络的整体特征隐藏在数据网络中，大数据往往以复杂关联的数据网络这样一种独特的形式存在，因此要理解大数据就要对大数据后面的网络进行深入分析”,。例如啤酒和尿布，两个原本互不沾边的事物，通过数据分析进行的重组则产生了意想不到的效果。,对于档案馆而言，对关系尤其是档案之间、用户之间及档案与用户之间关系的精确洞察将使得关联服务、精准服务、跟踪服务成为可能，从而实现用户需求与档案价值的双向理想控制。在关系洞察的基础上，对档案馆自身管理、机构发展、社会服务等方面的趋势预测成为可能，从而更好地实现优化与监管。,2.2.3,关系洞察及趋势预测,无论是档案资源还是用户数据，往往以孤立的数据和分散的链接这种,革命的意义在于，它能改变人们的思维方式，成为变革世界的源泉，而这也正如图灵奖得主,Jim Gray,在,第四范式,数据密集型科学发现,所言，大数据不仅仅是数据量的剧增，也不仅仅是信息技术的飞跃，而可能是人类对客观世界认知飞跃的前奏。,作为一场“引爆信息社会的哥白尼式革命”，大数据时代的到来，将从多个方面变革传统的档案馆思维模式，为档案馆管理、服务及业务理念带来颠覆性的变化。,2.3,思维维度,革命的意义在于，它能改变人们的思维方式，成为变革世界的源泉，,大数据时代是弘扬理性精神的时代，决策行为将日益基于数据分析，而不是像过去更多地依赖于经验甚至直觉。耶鲁大学法学教授丹尼尔,.,埃斯蒂认为，“基于数据驱动的决策方法，政府将更加有效率、更加开放、更加负责，引导政府前进的将是基于实证的事实，而不是意识形态，也不是利益集团在政府决策过程中施加的影响”。,为了提升档案管理的科学水平，档案馆必须实现从经验驱动到循数管理的转变，让“数据说出未来”。例如，在我国的数字档案馆建设中，数字化的比例及规模成为重要的衡量标准。然而，是否有必要全文数字化？数字化内容及形式的选择？这些都值得我们认真商榷，反观,NARA,，根据用户点击率来决定数字化内容，无疑可以给我们很大的启发。,2.3.1,管理思维：从经验驱动到循数管理,大数据时代是弘扬理性精神的时代，决策行为将日益基于数据分析，,长期以来，我国档案馆采取的是“供给导向”的发展模式，往往从自身业务供给的角度出发，有什么样的内容就提供什么样的服务，用户常常面临着“提供的服务不需要，需要的服务找不到”的尴尬。随着大数据在其他领域应用优势的不断凸显，用户对档案馆精品化、多元化、个性化的服务需求越来越强烈，如果继续采取无所作为、固守原状的鸵鸟政策，那么档案馆将会失去未来的发展机会，甚至会失去存在的意义。,档案馆服务理念要实现从供给导向到需求导向的转变，确立用户在其服务体系中的主体地位，以用户为中心，以需求为导向，利用大数据对用户行为中的信息进行挖掘，寻找其隐性需求，实现资源密集型向服务主导型的转变。,2.3.2,服务思维：从供给导向到需求导向,长期以来，我国档案馆采取的是“供给导向”的发展模式，往往从自,在以往的档案馆业务工作中，一般的服务思维都是出现问题,逻辑分析,找出因果关系,提出解决方案，从而实现问题求解，可称之为逆向思维模式。大数据时代最大的转变是，放弃对因果关系的渴求，取而代之关注相互关系，只要知道“是什么”，而不需要知道“为什么”，也就是从追寻“因果律”走向审视“相关性”。,这一转变将使我们以一种崭新的视角去理解档案馆的业务工作，即收集数据,量化分析,找出相互关系,提出优化方案，使用户问题解决方案从成功跃至卓越，可称之为正向思维模式。,这种相互关系的运用，一方面使得数据内在关联得到深入挖掘，促进资源的集成创新，从而实现档案数据资源的增值开发，另一方面使得档案馆“捕捉现在，预测未来”成为可能，通过开展跟踪服务、知识关联服务从而提升个性化服务的水平。,2.3.3,业务思维：从因果关系到相互关系,在以往的档案馆业务工作中，一般的服务思维都是出现问题逻辑分,只有无限探索和拓展，触碰整个档案行业的局限，,我们才能逃脱死水一潭的状态，这种状态尽管平静、舒适，但却暮气沉沉，行将落伍。我们需要想方设法把自我满足的封闭的档案界转变成与当代社会同步、对社会有益、并具有活力的档案界，否则的话，我们就会在数字时代变成毫无用处的化石。,T.,库克,历史不会重演，却自有其韵律，如果洞悉其中的规律，那么档案馆的未来，或许就掌握在大数据的手中。,只有无限探索和拓展，触碰整个档案行业的局限，我们才能逃脱,1,迈尔,-,舍恩伯格，库克耶著，周涛译,.,大数据时代,生活、工作与思维的大变革,M.,杭州：浙江人民出版社，,2013,2Bill Franks,著，黄海译,.,驾驭大数据,.,北京：人民邮电出版社，,2013.,3,涂子沛,.,大数据：正在到来的数据革命，以及它如何改变政府、商业与我们的生活,M.,桂林：广西师范大学出版社，,2012,4,Big data: The next frontier for innovation, competition, and productivity, Mckinsey Global Institute,2012.6,5Big Data for Development: Challenges & Opportunities, UN Global Pulse,2012.5,6Big Data Across the Federal Government, Executive Office of the President,2012.3,本演讲参考了国内外作者的相关成果，特此致谢！,1迈尔-舍恩伯格，库克耶著，周涛译.大数据时代生活、,谢谢！,谢谢！,