Oracle非结构化数据解决方案.docx

Oracle数据库 11g管理非结构化数据2一、引言2二、在 ORACLE 中管理非结构化数据的优势3三、打破了原来处理非结构化数据的“性能障碍”43.1 Oracle SecureFiles43.2 SecureFiles 中的存储优化5四、专用数据类型和数据结构64.1 Oracle XML DB64.2 Oracle Text74.3 Oracle Spatial84.4 RDF、OWL 和语义数据库管理94.5 Oracle Multimedia94.6 Oracle DICOM 医学内容管理9五 结论10 Oracle数据库 11g管理非结构化数据一、引言公司、企业以及其他机构使用的绝大部分信息都可归类为非结构化数据。非结构化数据是计算机或人生成的信息，其中的数据并不一定遵循标准的数据结构（如模式定义规范的行和列），若没有人或计算机的翻译，则很难理解这些数据。常见的非结构化数据有文档、多媒体内容、地图和地理信息、人造卫星和医学影像，还有 Web 内容，如 HTML。根据数据的创建方式和使用方式的不同，非结构化数据的管理方法大不相同。1. 大量数据分布于桌面办公系统（如文档、电子表格和演示文稿）、专门的工作站和设备（如地理空间分析系统和医学捕获和分析系统）上。2. 政府、学术界和企业中数 TB 的文档存档和数字库。3. 生命科学和制药研究中使用的影像数据银行和库。4. 公共部门、国防、电信、公用事业和能源地理空间数据仓库应用程序。5. 集成的运营系统，包括零售、保险、卫生保健、政府和公共安全系统中的业务或健康记录、位置和项目数据以及相关音频、视频和图像信息。6. 学术、制药以及智能研究和发现等应用领域中使用的语义数据（三元组）。自数据库管理系统引入后，数据库技术就一直用于解决管理大量非结构化数据时所遇到的特有问题。通常通过“基于指针的”方法使用数据库对存储在文件中的文档、影像和媒体内容进行编目和引用。为了在数据库表内存储非结构化数据，二进制大对象（或简称为 BLOB）作为容器使用已经数十年了。除了简单的 BLOB 外，多年以来，Oracle 数据库一直通过运算符合并智能数据类型和优化数据结构，以分析和操作 XML 文档、多媒体内容、文本和地理空间信息。由于有了 Oracle 数据库 11g，Oracle 再次在非结构化数据管理领域开辟出一片新天地：大幅提升了通过数据库管理系统原生支持的非结构化数据的性能、安全性以及类型。二、在 ORACLE 中管理非结构化数据的优势企业选择在 Oracle 数据库管理系统中存储非结构化数据的原因有很多：1. 强健的调优和管理：存储在数据库中的内容可直接与相关数据链接。元数据和内容同步进行维护；并在事务控制之下进行管理。数据库还提供强健的备份、恢复、物理调优和逻辑调优服务。2. 简单的应用程序部署：Oracle 支持各种特定类型的内容，包括SQL 语言扩展、PL/SQL 和 JAVA API、Xpath 和 Xquery（在使用 XML 时），在大多数情况下还支持 JSP 标记库以及通过内置运算符执行常见或重要运算的算法。3. 高可用性：Oracle 的最高可用性体系结构使得“零数据丢失”配置可应用于所有数据。在出现故障时只需一个恢复过程，这不同于常见配置。在常见配置中，属性信息存储在数据库中，数据库具有指向文件中的非结构化数据的指针。4. 可伸缩的体系结构：在许多情况下，通过触发器、视图处理或表和数据库级参数进行索引编制、分区和执行操作的能力使得构建在数据库而非文件系统上的应用程序可以支持更大的数据集。5. 安全性：Oracle 数据库可实现细粒度（行级和列级）安全性。同一安全机制既可应用于结构化数据，也可应用于非结构化数据。使用许多文件系统时，目录服务无法实现细粒度级的访问控制。限制单个用户的访问可能无法实现，在许多系统中，允许用户访问目录中的任何内容意味着可以访问目录中的所有内容。三、打破了原来处理非结构化数据的“性能障碍”在没有 Oracle 数据库 11g 之前，要获得这些好处是要付出代价的。将内容存储在数据库而不是传统文件系统中后，数据库特性（如域索引、分区和并行）可以改进地理空间应用程序以及查询和更新密集型 XML 应用程序的性能。然而，在许多情况下（例如多媒体应用程序），管理和检索非结构化数据需要额外的处理能力和内存才能获得与文件系统等同的性能。有了 Oracle 数据库 11g SecureFiles 后，一切都不同了，新的高性能LOB 支持检索非结构化数据，速度可与等价的文件系统配置媲美，甚至超过了后者。SecureFiles 是一个重要的新体系结构，其特性包括全新的磁盘格式、空间和内存管理技术，它可显著提升 LOB 性能并优化存储。3.1 Oracle SecureFilesSecureFiles 在数据库处理文件数据的方式上采用了全新的范例，对于基本查询和插入操作可提供类似文件系统的性能。经过 SecureFiles 优化的算法速度最快可达旧 LOB 的 10 倍。SecureFiles 可利用文件系统无法使用的多个高级 Oracle 数据库功能。在 Oracle RAC 环境中，SecureFiles 提供的高级别可伸缩性远非文件系统可比。通过 SecureFiles，用户可使用“联机表重新定义”轻松地从旧 LOB 进行移植，而不会影响到现有应用程序。应用程序不必再处理多个接口来操作关系和相关文件数据。使用SecureFiles 时，非结构化数据可以是数据库事务的一部分，因此，免去了应用程序保证原子性、读取一致性以及其他备份和恢复过程的复杂性。SecureFiles 将透明数据加密 (TDE) 功能扩展到了 LOB 数据。数据库支持表内所有LOB 列的自动密钥管理，并可以对数据、备份和重做/撤消日志文件进行透明加密/解密。应用程序无需更改即可通过 SecureFiles LOB透明地利用 TDE 功能。SecureFiles 支持下列加密算法：1. 3DES168：三重数据加密标准，密钥长度为 168 位。2. AES128：高级加密标准，密钥长度为 128 位。3. AES192：高级加密标准，密钥长度为 192 位。（默认值）4. AES256：高级加密标准，密钥长度为 256 位。3.2 SecureFiles 中的存储优化与 SecureFiles 一起提供的还有高级文件系统特性，如重复消除(Deduplication) 和压缩。重复消除可消除多个冗余的 SecureFiles 数据副本，并且对于应用程序是完全透明的。Oracle 可自动检测到多个相同的SecureFiles 数据副本，并仅存储一个副本，从而节省了存储空间。重复消除不仅简化了存储管理，而且显著提高了性能，尤其是对于复制操作。用户可使用行业标准的压缩算法压缩 LOB 数据，从而大幅节省存储空间并显著提升性能。Oracle 可自动判断 SecureFile 数据是否可进行压缩，或压缩是否有益。SecureFiles 对整个服务器使用默认的 LOB 压缩算法，并提供有各种级别的压缩。每种压缩级别都是压缩系数和速度之间的一种平衡。企业可以根据存储和 CPU 使用限制选择最适合其需求的压缩级别。SecureFiles 可自动进行压缩和解压缩，并且对于应用程序是完全透明的。四、专用数据类型和数据结构与数据库管理系统包括数据类型、存储和索引结构以及运算符以对结构化数据进行有效查询和分析一样，它们在管理非结构化数据时也需要这些元素以实现增值。Oracle 数据库 11g 的这些特性在 XML、文本、空间、语义以及多媒体和 DICOM 数据管理方面具有独一无二的优势。4.1 Oracle XML DBXML 已为各行各业广泛采用。在卫生保健、制造、金融服务、政府以及出版等领域中都可以找到基于 XML 的标准。事实上，基于 XML 的标准（如 XBRL）的引入已使 XML 成为应用系统之间的信息交换机制。因此，越来越多的人将 XML 用作了任务关键数据的持久性模型。为了满足这个需要，Oracle 开发了 Oracle XML DB。Oracle XML DB 是一项高性能的原生 XML 存储和检索技术，可在所有版本的 Oracle 数据库上使用。它完全支持所有关键的 XML 标准，包括 XML、命名空间、DOM、Xquery、SQL/XML 和 XSLT。Oracle XML DB 是第一个真正融合了关系/XML 功能的平台，从而使用户可以针对 XML 内容充分利用SQL 语言以及针对关系数据充分利用 XML 范例。随着 Oracle 数据库 11g 的发布，Oracle 扩展了其行业领先的 XML 支持，进而确保了 Oracle 仍是存储、管理和查询所有可能的 XML 内容类型的最佳平台。Oracle 数据库 11g 中的新特性改善了性能和可伸缩性，并对灵活性提供充分支持，从而使更多不同机构为 XML 数据模型所吸引。Oracle 数据库 11g 为使用 Oracle XMLSchema 优化的 XML 存储的用户在诸多方面进行了改进。1. XML 模式的适当发展。2. XML 模式优化的存储的 Oracle 分区。3. 优化存储模型的 XML 模式优化的智能默认值。4. 模式优化的存储上的 XQuery 操作改进5. 支持通过 Oracle Streams 复制基于文本的 XMLType 存储。为了以最优的方式处理非基于模式的 XML，Oracle 数据库 11g 引入了一个新的二进制 XML 存储选件以及新的 XML 索引编制功能，从而带来高性能的插入、更新和查询操作。Oracle 的二进制 XML 格式允许针对XML 内容进行基于路径的高效索引编制。该格式可以优化 XQuery 执行和碎片提取。Oracle 数据库 11g 新的 XML 索引编制功能可以充分利用此格式。Oracle 数据库 11g 通过直接将 Oracle PL/SQL 程序包、过程和函数公开为 web 服务简化了面向服务的轻型应用程序的实施。Oracle XML DB 信息库现在引入了一个支持工作流类型应用程序的事件模型，其中的自动创建或修改文件等简单任务会启动相应流程。4.2 Oracle TextOracle Text 是数据库环境所需的领先的文本搜索、检索和管理系统。在Oracle 数据库 11g 第 1 版中，Oracle Text 引入了旨在保持其领先地位的新特性。这些新特性可以划分为四个目标领域：1. 性能2. 应用程序停机时间最小化3. 国际化4. 维护简便“混合查询”（包含文本搜索部分和结构化部分的查询）的性能已通过“SDATA 段”和“混合域索引”的引入而得到了改善。所支持分区的数量得到了显著提高，在 Oracle 数据库 10g 中，可以使用的分区的数量最大为 9999，在 Oracle 数据库 11g 中，文本索引分区的限制现在与表分区的限制相同，即 220 - 1 或 1,048,575。通过 Oracle 数据库 11g，Oracle Text 支持增量索引和联机索引重建，从而改进了系统可用性。增量索引允许您在系统空闲时逐步创建索引。联机索引重建允许您创建“影子”索引，该索引可在原始索引仍在使用的时候进行构建。当该索引构建完成时，可以将原始索引调换为新建的影子索引。一旦这样操作，查询将自动转换至新索引。此外，利用 Oracle 数据库 11g 中的其他国际化支持，用户能够针对更多种语言进行自动语言识别、词干确定和分节操作。4.3 Oracle SpatialIDC 的反复研究表明，Oracle 是被广泛使用的企业空间数据库服务器，占据企业空间数据库市场 80% 以上的份额。每个 Oracle 数据库都包含Oracle Locator，这是一个内置的位置特性，使任何业务应用程序能够直接合并位置信息和打造自身竞争优势。Oracle 的高级地理空间选件 Oracle Spatial 11g 是一个综合的空间数据库产品，其中包括对矢量和栅格数据、拓扑和网络模型、3D 数据、地理编码、路线选择以及 OGC 标准 Web 服务的原生支持，可满足企业和政府应用程序的需求，这些应用程序包括用于土地管理、公共事业、国防以及本土安全的业务智能和高级地理空间系统。Oracle 开放的原生空间支持消除了分散、专用系统的成本，并为所有领先 GIS 供应商支持。只有Oracle 可为以 Oracle 原生类型存储的任务关键的空间资产提供行业领先的安全性、性能、可伸缩性以及可管理性。在 Oracle Spatial 11g 中，Oracle 引入了以下特性：1. 通过 Oracle 融合中间件 MapViewer 与 Oracle 业务智能套件2. 企业版、Oracle 融合中间件 WebCenter 以及 Oracle 业务活动监视进行集成。3. 对存储和管理三维数据、点云和地形模型的支持。4. OpenGIS Web 服务标准：Web Map Service (WMS)、Web Feature Service Transactions (WFS-T)、Web Catalog Services(CS-W) 和 Open Location Services (OpenLS)。5. GeoRaster 数据类型和网络数据模型现在可更便捷地处理较以前大得多的数据集。6. 路线搜索引擎、地理编码、拓扑数据模型和网络数据模型增强。随着 11g 的发布，Oracle Spatial 的重要新功能使其成为所有地理空间应用程序或提供位置功能的企业应用程序的完善的数据管理平台。经过增强的空间几何数据类型可支持三维数据，并新增了数据类型以支持城市规划、国土安全或基于激光雷达的地图编制等领域中的应用。这些应用需要对城市模型、点云和地形模型进行存储和管理。Oracle Spatial 现在支持地理空间 web 服务标准，可提供安全、可伸缩的面向服务的体系结构平台。经过增强的 GeoRaster 数据类型和网络模型可以处理的数据集的大小呈数量级增加，而且性能较高并更易使用。结合 Oracle 数据库的性能、可伸缩性以及安全性，Oracle Spatial 11g 成为可用于企业级部署的最高级空间数据库平台。4.4 RDF、OWL 和语义数据库管理新的软件和数据模型有助于数据/内容集成和企业应用程序集成等领域内多个应用程序之间的知识共享。该软件将以语义数据建模标准，如 W3C 的RDF 和 OWL 为基础。Oracle 数据库 11g 包含原生 RDF/RDFS/OWL 支持，从而使应用程序开发人员能够受益于可伸缩、安全、集成、高效的语义数据管理平台。应用程序开发人员可以通过定义一套术语及其之间的关系来为数据和元数据赋予意义。这些术语（“本体”）根据语义内容而不仅仅是数据值实现查询、分析和操作。本体越来越多地用于构建利用特定领域知识的应用程序。本体数据集通常包含数亿个数据项和关系，可存储在使用新的 RDF数据模型的三个组（或称为“三元组”）中。Oracle 支持扩展至数十亿三元组以满足要求最为严格的应用程序的需求。4.5 Oracle MultimediaOracle Multimedia（以前称为 Oracle interMedia）是一个使 Oracle 数据库能够以集成其他企业信息的方式存储、管理和检索图像、音频、视频或其他媒体数据的特性。Oracle Multimedia 将 Oracle 数据库的可靠性、可用性和数据管理扩展到了传统应用程序、互联网应用程序、电子商务应用程序以及富媒体应用程序中的媒体内容。借助 Oracle 数据库 11g，Oracle Multimedia 显著提升了性能和可伸缩性。Oracle Multimedia 支持 Oracle SecureFiles，大幅改进了 Oracle 数据库的性能并显著强化了该数据库的原生内容管理功能。此外，可以在数据库存储结构 (BLOB) 内存储和检索的单个媒体对象的大小限制升级为BLOB 的大小限制，即介于 8 TB 和 128 TB 之间。除了存储和检索大图像外，Oracle Multimedia 还可提取图像属性，如像素高达 20 亿或解析度高达 46000x46000 的图像的高度、宽度以及压缩格式。4.6 Oracle DICOM 医学内容管理借助 Oracle 数据库 11g，Oracle Multimedia 可提供构建大规模 DICOM格式医学影像信息库和存档所必需的特性和性能。通过使用 Oracle 数据库中的 SecureFiles 扩展 Multimedia 来存储图像、音频和视频，使Oracle 成为企业级数据库标准的所有安全性、性能和管理工具现在也可用于大量医学对象存档。特别是对于医学影像应用程序，Oracle 提供了以下方法：1. 将图像转换为可在 web 应用程序中使用的格式，以简化强调用户界面的应用程序的开发。2. 提取标准和私有元数据以进行索引编制。3. 验证元数据是否符合 DICOM 标准或当地标准。4. 移除所有患者隐私数据，创建匿名图像用于研究或培训。5. 使用更正后的元数据创建新图像。6. 从非 DICOM 图像创建 DICOM 格式图像。所有这些特性都易于使用模型驱动的强大编程方法进行自定义以支持当地要求。安全的数据模型信息库可用于支持 DICOM 标准和当地要求的频繁更改。五 结论Oracle 数据库 11g 中性能和功能的显著改进为实现更好的非结构化数据管理提供了两个必要的基本因素。首先，能够以最高级别的性能管理、保护、查询和管理信息；其次，能够以开放、标准的方式从数据获取信息和知识，而此前，则要依赖于专用应用程序或设备逻辑。Oracle 数据库 11g提供了独特的管理非结构化数据的功能，这是十几年的开发、调查以及与客户和应用程序提供商的紧密协作的结果。