可视化分析课件

所谓可视化（Visualization）是利用计算机图形学和图像处理技术，把数据转变成图形或图像在屏幕上显示出来，再进行交互处理的理论、方法和技术目前，可视化技术根据所处理数据的抽象层次划分是比较通俗易懂的，其划分方法主要有：科学计算可视化、数据可视化、信息可视化和知识可视化定义：4.4.1可视化技术4.4可视化分析所谓可视化（Visualization）是利用计算机图形学和可视化技术划分方法划分方法知识可视化对基于领域内容的结构进行的可视化，简单来说，就是把个体知识用图解的方式表示出来，生成能够直接对人的感官起作用的知识外在表现形式，进而促进知识的传播和创新数据可视化对大型数据库或数据仓库中数据的可视化。它可以把数据及其结构关系用更为直观的方式展现出来，是可视化技术在非空间数据领域的应用信息可视化指用计算机支撑的、交互性的、对抽象数据的可视表示法，用来增强人们对抽象信息的认知，信息可视化技术存在时间比较短，有着非常广泛的应用前景，比如高空飞行和治安管理。科学计算可视化利用计算机图形图像处理技术，把科学计算过程中产生的数据和计算结果转变为图形或图像在屏幕上显示出来并进行交互处理的理论、方法和技术可视化技术划分方法划分方法知识可视化对基于领域内容的结构进行大数据可视化工具1、入门级工具Excel是对数据进行快速分析的理想工具，同时也能创建供内部使用的数据图。虽然它在颜色、线条和样式上可选择的范围有限，但是作为一个入门级工具已经足够了。CSV（逗号分隔值）和JSON（JavaScript对象注释）是常见的数据格式，所有数据可视化工具基本都支持至少CSV、JSON两种的中一种格式。我们需要清楚它们的结构，这样才能理解怎么从这些文件导入或者导出数据。大数据可视化工具1、入门级工具Excel是对数据进行快速分析大数据可视化工具2、在线数据可视化工具（1）Google Chart API工具集设有静态图片静态图片的动能，仅提供动态图表工具，能够在所有支持SVGCanvas和VML的浏览器中使用。不支持 JavaScript的设备不能使用它，因为Google Chart图表是在客户端生成，并且也无法离线使用或将结果另存为其他格式，如图4.18所示为几种Google Chart。Google Chart示意图大数据可视化工具2、在线数据可视化工具（1）Google C大数据可视化工具2、在线数据可视化工具（2）Flot是一个优秀的线框图表库，支持所有支持canvas的浏览器，比如火狐、IE、Chrome等，如下图Flot示意图大数据可视化工具2、在线数据可视化工具（2）Flot是一个优大数据可视化工具2、在线数据可视化工具（3）D3（Data Driven Documents）是支持SVG渲染的另外一种JavaScript库，它能够提供大量线性图和条形图之外的复杂图表样式，如图4.20所示为D3气泡图。D3气泡图大数据可视化工具2、在线数据可视化工具（3）D3（Data 大数据可视化工具2、在线数据可视化工具（4）Visual.ly是做信息图的首选工具，提供了大量信息图模板，它主要定位是：“信息图设计师的在线集市”Visual.ly大数据可视化工具2、在线数据可视化工具（4）Visual.l大数据可视化工具2、在线数据可视化工具（5）Raphal是创建图表和图形的JavaScript库，与其他库最大的不同是输出格式仅限SVG和VML，如图4.22。SVG是矢量格式，在任何分辨率下的显示效果都很好Raphal大数据可视化工具2、在线数据可视化工具（5）Raphal是大数据可视化工具3、图形用户界面(GUI)控制可视化的互动性随着在线数据可视化的发展进一步增强，按钮、下拉列表和滑块都在进化成更加复杂的界面元素。JavaScript库Crossfilter既是图表，又是互动图形用户界面的小程序，它是为方便客户浏览数据的工具。例如调整一个图表中的输入范围时，其他关联图表的数据也会随之改变。如图4.27所示为Crossfilter的互动GUI。Crossfilter的互动GUI大数据可视化工具3、图形用户界面(GUI)控制可视化的互动性大数据可视化工具4、地图工具Web上最困难的任务之一就是地图生成式。GoogleMaps的出现完全颠覆了过去人们对在线地图功能的认识。而Google发布的MapsAPI则让所有的开发者都能在自己的网站中植入地图功能。Modest Maps是目前最小的可用地图库，只有10KB大小。在一些扩展库的配合下，会变成一个强大的地图工具，如下图。Modest Maps大数据可视化工具4、地图工具Web上最困难的任务之一就是地图大数据可视化工具4、地图工具Leaflet也是一个小型话的地图框架，通过小型化和轻量化来满足移动应用网页的需要Leaflet大数据可视化工具4、地图工具Leaflet也是一个小型话的地大数据可视化工具4、地图工具Polymaps是基于SVG的图像和矢量平铺地图的JavaScript 库，主要面向数据可视化用户，Polymaps有独特的地图风格，如图Polymaps大数据可视化工具4、地图工具Polymaps是基于SVG的图大数据可视化工具4、地图工具OpenLayers的可靠性可能是所有地图库中最优的，如图。对于一些特定的任务来说，OpenLayers非常好的，但是文档注释并不完善，且学习曲线非常陡峭 OpenLayer大数据可视化工具4、地图工具OpenLayers的可靠性可能大数据可视化工具4、地图工具Kartograph的标记线是对地图绘制的重要思考，非莫卡托投影的地图，在仅生成某一区域的地图时很有优势，如图所示为Kartograph地理库 Kartograph地理库大数据可视化工具4、地图工具Kartograph的标记线是对大数据可视化工具4、地图工具CartoDB是地图可视化和分析工作，可以把地址字符自动转化成经度、纬度数据并在地图上标记出来，很轻易就把表格数据和地图关联起来 CartoDB大数据可视化工具4、地图工具CartoDB是地图可视化和分析大数据可视化工具5、进阶工具Processing是相当专业的可视化设计应用，可以在几乎所有平台上运行，用以产生图像、动画和交互，如左图。NodeBox是OS X上创建二维图形和可视化的应用程序，它是使用Python语言的程序，与Processing类似，但是没有互动功能，如右图。Processing 可视化图NodeBox大数据可视化工具5、进阶工具Processing是相当专业的大数据可视化工具5、专家级可视化工具R拥有强大的社区和组件库，是开源大数据平台上的理想的分析和可视化工具，如左图Weka是可以根据属性分类分析和类聚分析的数据挖掘软件工具，它能生成简单图表，更是一个很好的数据分析工具，如右图 RWeka大数据可视化工具5、专家级可视化工具R拥有强大的社区和组件库大数据可视化工具5、专家级可视化工具Gephi是基于JVM的复杂网络分析软件，是对各种网络和复杂系统进行可视化分析的工具。它在生成可视化图形的同时也会对数据进行清洗和分类Gephi大数据可视化工具5、专家级可视化工具Gephi是基于JVM的4.4.2可视化工具-R1.R语言概述R是对数据进行统计分析的开源软件包，是一种编程语言。优点：（1）能够在linux、Windows和mac下运行；（2）能够把原始模型转变为图形和可视化视图，拥有很多和数据科学相关的功能不足：可扩展性较差，可以加工和处理的数据是有限的。特点特点：（1）具有有效的数据处理和保存机制（2）具有一整套数组和矩阵的操作运算符；具有一系列连贯而又完整的数据分析中间工具4.4.2 可视化工具-R1.R语言概述不足：可扩展性较差4.4.2可视化工具-R特点特点：（3）图形统计能够对数据直接进行分析和显示，能够在多种图形设备中使用；（4）是一种相当完善、简洁和高效的程序设计语言，包括条件语句、循环语句、用户自定义的递归函数以及输入输出接口（5）是彻底面向对象的统计编程语言；（6）和其它编程语言、数据库之间有很好的接口；（7）是自由软件，其功能不比任何其它同类软件差；具有丰富的网上资源。4.4.2 可视化工具-R特点：4.4.2可视化工具-RRSASSPSSSplus速度快 简单易学 开源速度快 有大量统计分析模块 可扩展性略弱 价格昂贵复杂的用户图形界面 简单易学 编程较难运行S语言 具有复杂的界面 与R完全兼容 价格较高R语言与其他统计分析方法的比较如表4.4.2 可视化工具-RRSASSPSSSplus速度快 4.4.2可视化工具-R2.R软件资源R程序包是R的功能扩展，R程序包集合了多个函数，并且具有详细的说明和举例。R程序包在Windows下是经过编译的zip包。每个程序包包含R函数、数据、帮助文件、描述文件等。3.R的对象 R语言是一种彻底面向对象彻底面向对象的语言，R处理的所有数据、变量、函数和结果都是以对象对象的形式存储的，对象有数据类型数据类型和长度长度两个内在属性4.4.2 可视化工具-R2.R软件资源R程序包是R的功能4.4.2可视化工具-R3.R的对象 数据类型是对象内元素的基本类型，包括：数值(Numeric)、字符型(Character)、复数型(Complex)、逻辑型（Logical）等，如下表所示。使用mode()函数能够得到对象的类型。长度是对象中元素的数目，使用length()函数能够得到对象的长度。数值型(Numeric)包括整型（integer）、双精度实型（double），对于很大的数据使用指数表示，此外，R可以表示无穷的数值，用Inf和-Inf表示和-，非数字用NaN表示。字符型(Character)使用双引号或者单引号作为定界符。如果需要引用双引号或者单引号，则在双引号或单引号前加反斜杠即可。逻辑型（Logical）包含TRUE、FALSE和NA（缺失数据）复数型(Complex)如1+3j 表4.4.2.1 R语言的数据类型4.4.2 可视化工具-R3.R的对象数值型(Numeri4.4.2可视化工具-R3.R的对象 除了数据类型外，对象本身也有不同的类型，表示不同的数据结构（struct）。如表所示。表4.4.2.2 R语言的数据类型对 象释 义类 型同一对象中能否有多种类型向量（vector）一系列有序元素构成数值型，字符型，复数型，逻辑型否因子（factor）对同长的其他向量元素进行分类的向量对象。R 同时提供有序（ordered）和无序（unordered）因子。数值型，字符型否数组（array）带有多个下标的类型相同的元素的集合数值型，字符型，复数型，逻辑型否4.4.2 可视化工具-R3.R的对象 可视化分析课件4.4.2可视化工具-R3.R的对象 对 象释 义类 型同一对象中能否有多种类型矩阵（matrix）矩阵仅仅是一个双下标的数组数值型，字符型，复数型，逻辑型否数据框（data frame）和矩阵相似的一种结构。在数据框中，列可以是不同的对象数值型，字符型，复数型，逻辑型是时间序列（time series）包含一些额外的属性，如频率和时间数值型，字符型，复数型，逻辑型否列表（list）是一种泛化（general form）的向量。它没有要求所有元素是同一类型，许多时候就是向量和列表类型。列表为统计计算的结果返回提供了一种便利的方法数值型，字符型，复数型，逻辑型，函数，表达式，是续表4.4.2 可视化工具-R3.R的对象 4.4.2可视化工具-R4.R的基本使用(1)命令(2)交互式使用R(3)工作空间（workspace）(4)脚本/批处理 5.绘图在R语言中包括点图、饼图、趋势图、拓扑图等的绘图分析。它绘制的图形可以输出jpg、eps、pdf等各种格式，可以设置参数对图形进行精确控制，并且满足出版印刷的要求。4.4.2 可视化工具-R4.R的基本使用