内存数据库Altibase产品介绍

Copyright2005,南开创元Introduction to 主存数据库-1Altibase主存数据库产品介绍主存数据库产品介绍 韩国韩国 Altibase 公司公司南开创元信息技术有限公司南开创元信息技术有限公司顾鸿翔顾鸿翔Email:guhongxiangg-Copyright2005,南开创元Introduction to 主存数据库-2一、主存数据库技术简介一、主存数据库技术简介 二、二、Altibase 主存数据库特色主存数据库特色目目 录录Copyright2005,南开创元Introduction to 主存数据库-3一、主存数据库技术简介一、主存数据库技术简介IT市场的需求市场的需求主存数据库概念主存数据库概念技术发展历程技术发展历程主存数据库和磁盘数据库的比较主存数据库和磁盘数据库的比较主存数据库应用的必要性和可行性主存数据库应用的必要性和可行性应用领域应用领域Copyright2005,南开创元Introduction to 主存数据库-4主存数据库概念 主存数据库(MMDB:Main Memory Database)是将所有数据存于物理内存，因此能够不需要访问磁盘直接访问数据，从而获得极高的存取速度和极强的并发访问能力的数据库系统。主存数据库与传统的基于磁盘的数据库系统（DRDB,Disk-Resident Database）的重大区别在于数据的存储介质和针对物理内存而特别设计的数据储存结构的存取机制，一般存取速度的增加在10至1000倍左右。主存数据库定义主存数据库定义主存数据库和磁盘数据库的区别主存数据库和磁盘数据库的区别Copyright2005,南开创元Introduction to 主存数据库-5主存数据库技术发展历程 从上个世纪从上个世纪60年代末到年代末到80年代初。在这个时期中，出现了主存数年代初。在这个时期中，出现了主存数据库的雏形。据库的雏形。1969年年IBM公司研制了世界上最早的数据库管理系统公司研制了世界上最早的数据库管理系统-基于层次模型的数据库管理系统基于层次模型的数据库管理系统IMS，并作为商品化软件投入并作为商品化软件投入市场。在设计市场。在设计IMS时，时，IBM考虑到基于内存的数据管理方法，相应考虑到基于内存的数据管理方法，相应推出了推出了IMS/VS Fast Path。Fast Path是一个支持内存驻留数据的商业化数据库，但它同时也是一个支持内存驻留数据的商业化数据库，但它同时也可以很好地支持磁盘驻留数据。在这个产品中体现了主存数据库的可以很好地支持磁盘驻留数据。在这个产品中体现了主存数据库的主要设计思想，也就是将需要频繁访问，要求高响应速度的数据直主要设计思想，也就是将需要频繁访问，要求高响应速度的数据直接存放在物理内存中访问和管理。在这个阶段中，包括网状数据库、接存放在物理内存中访问和管理。在这个阶段中，包括网状数据库、关系数据库等其他各种数据库技术也都逐渐成型。关系数据库等其他各种数据库技术也都逐渐成型。雏形期雏形期Copyright2005,南开创元Introduction to 主存数据库-6主存数据库技术发展历程n1984年，年，D J DeWitt等人发表了主存数据库系统的实现技术一文。等人发表了主存数据库系统的实现技术一文。n第一次提出了第一次提出了Main Memory Database（主存数据库）的概念主存数据库）的概念 n预言当时异常昂贵的计算机主存价格一定会下降，用户有可能将大容量的数据库预言当时异常昂贵的计算机主存价格一定会下降，用户有可能将大容量的数据库全部保存在主存中全部保存在主存中 n提出了提出了AVL树、哈希算法、主存数据库恢复机制等主存数据库技术的关键理论，树、哈希算法、主存数据库恢复机制等主存数据库技术的关键理论，为主存数据库的发展指出了明确的方向为主存数据库的发展指出了明确的方向 n1984年，年，D J DeWitt等人提出使用非易逝内存或预提交和成组提交技术作为主存数据库等人提出使用非易逝内存或预提交和成组提交技术作为主存数据库的提交处理方案，使用指针实现主存数据库的存取访问。的提交处理方案，使用指针实现主存数据库的存取访问。n1985年，年，IBM推出了推出了IBM 370上运行的上运行的OBE主存数据库主存数据库 n1986年，年，RB Hagman提出了使用检查点技术实现主存数据库的恢复机制。威斯康星大提出了使用检查点技术实现主存数据库的恢复机制。威斯康星大学提出了按区双向锁定模式解决主存数据库中的并发控制问题。并设计出学提出了按区双向锁定模式解决主存数据库中的并发控制问题。并设计出MM-DBMS主存数据库。贝尔实验室推出了主存数据库。贝尔实验室推出了DALI主存数据库模型。主存数据库模型。n1987年，年，ACM SIGMOD会议中提出了以堆文件（会议中提出了以堆文件（HEAP FILE）作为主存数据库的数作为主存数据库的数据存储结构。据存储结构。Southern Methodist大学设计出大学设计出MARS主存数据库模型。主存数据库模型。n1988年普林斯顿大学设计出年普林斯顿大学设计出TPK主存数据库。主存数据库。n1990年普林斯顿大学又设计出年普林斯顿大学又设计出System M主存数据库。主存数据库。技术理论成熟期技术理论成熟期Copyright2005,南开创元Introduction to 主存数据库-7主存数据库技术发展历程n随着互联网的发展，越来越多的网络应用系统需要能够支持大用户量并发访问、随着互联网的发展，越来越多的网络应用系统需要能够支持大用户量并发访问、高响应速度的的数据库系统，主存数据库市场成熟高响应速度的的数据库系统，主存数据库市场成熟 n半导体技术快速发展，半导体内存大规模生产，动态随机存取存储器（半导体技术快速发展，半导体内存大规模生产，动态随机存取存储器（DRAM）的容量越来越大，而价格越来越低，这无疑为计算机内存的不断扩大提供了硬件的容量越来越大，而价格越来越低，这无疑为计算机内存的不断扩大提供了硬件基础，使得主存数据库的技术可行性逐步成熟基础，使得主存数据库的技术可行性逐步成熟 n1994年美国年美国OSE公司推出了第一个商业化的，开始实际应用的主存数据库产品公司推出了第一个商业化的，开始实际应用的主存数据库产品 Polyhedra n1998年德国年德国SoftwareAG推出了推出了Tamino Database。n1999年日本年日本UBIT会社开发出会社开发出XDB主存数据库产品。韩国主存数据库产品。韩国Altibase推出推出Altibase n2000年奥地利的年奥地利的QuiLogic公司推出了公司推出了SQL-IMDB n2001年美国年美国McObject推出推出eXtremeDB。加拿大加拿大Empress公司推出公司推出EmpressDB 产品发展期和市场成长期产品发展期和市场成长期Copyright2005,南开创元Introduction to 主存数据库-8主存数据库技术发展历程几种主存技术应用的比较几种主存技术应用的比较第一代第一代:用户定制的主存数据库用户定制的主存数据库 通过应用程序来管理内存和数据.(主要目的:提高性能)不支持SQL语句,不提供本地存储,没有数据库恢复技术 性能好但很难维护和在别的应用中不能使用。应用在实时领域比如工厂自动化生产。第二代第二代:简单功能的主存数据库简单功能的主存数据库 能够快速处理简单的查询 支持部分的 SQL语句和简单的恢复技术 主要目的是能够快速处理大量事务 针对简单事务处理领域,尤其是交换机,移动通信等第三代第三代:通用的主存数据库通用的主存数据库 针对传统的商业关系型数据库领域，能够提供更高的性能、通用性以及稳定性.提供不同的接口来处理复杂的SQL语句和满足不同的应用领域 可以应用在计费、电子商务、在线安全领域，几乎包括磁盘数据库的所有应用领域Copyright2005,南开创元Introduction to 主存数据库-9主存数据库和磁盘数据库的比较数据存储数据存储 1、在磁盘上存储数据库在磁盘上存储数据库查询算法查询算法 2、使用使用B-Tree算法进行查询算法进行查询 查询优化查询优化 3、需要复杂的查询优化需要复杂的查询优化 （减少磁盘（减少磁盘I/O瓶颈）瓶颈）写入速度写入速度 4、写入数据速度一般写入数据速度一般磁盘数据磁盘数据库库主存数据库主存数据库数据存储数据存储 1、在内存中存储数据库在内存中存储数据库查询算法查询算法 2、使用使用T-Tree算法进行查询算法进行查询查询优化查询优化 3、简单的查询优化简单的查询优化 （不存在磁盘（不存在磁盘I/O瓶颈）瓶颈）写入速度写入速度 4、写入数据比磁盘数据库快写入数据比磁盘数据库快 10至至1000倍以上倍以上Copyright2005,南开创元Introduction to 主存数据库-10主存数据库应用的必要性高速聚集的海量信息高速聚集的海量信息快速增长的用户群快速增长的用户群互联网的快速发展互联网的快速发展需要新型数据库管理系统需要新型数据库管理系统 主存数据库管理系统主存数据库管理系统极高的数据存取速度极高的数据存取速度极强的并发访问能力极强的并发访问能力满足大量并发访问满足大量并发访问快速处理海量信息快速处理海量信息磁盘数据库管理系统磁盘数据库管理系统数据库系统处理能力不足数据库系统处理能力不足 信息服务遇到信息服务遇到瓶颈瓶颈 信息管理系统信息管理系统技术要求技术要求Copyright2005,南开创元Introduction to 主存数据库-11主存数据库主存数据库应用应用的可的可行性行性v 半导体内存大规模生产，动态随机存取存储器（DRAM）的容量越来越大，而价格越来越低，这无疑为计算机内存的不断扩大提供了硬件基础，使得主存数据库的经济可行性逐步成熟。经济可行性技术可行性v 64bit 芯片的普及。系统最大寻址空间决定了数据库容量。主存:32 bit=最大 4GB 寻址空间 64 bit=几乎无限的寻址空间v 高稳定性操作系统出现UNIX等操作系统发展到近年来已经非常稳定，可以承受的住几个月，甚至一年的不停的运转。这样的可靠性能大大减少了数据库系统的风险。010020030040050060070080020002001200220032000-2003年128M SDRAM价格价格Copyright2005,南开创元Introduction to 主存数据库-12主存数据库应用模式-嵌入式系统模式航空航天系统大型IP路由系统电信通信交换系统主存数据库APIAPI 卫星通讯系统实时嵌入式操作系统应用应用 1 1APIAPI应用应用 2 2APIAPI应用应用 n n应用应用 n n嵌入式系统嵌入式系统火车站智能交通控制系统IBMCopyright2005,南开创元Introduction to 主存数据库-13主存数据库应用模式混合模式磁盘数据库服务器磁盘数据库服务器(Oracle,Informix,Sybase,DB2,(Oracle,Informix,Sybase,DB2,)冷数据区冷数据区存储历史数据等存储历史数据等冷数据冷数据(80%)(80%)热数据热数据(20%)(20%)主存数据库和磁盘数据库混合使用成为主存数据库和磁盘数据库混合使用成为可以承担高速事务处理的关系型数据库可以承担高速事务处理的关系型数据库热数据区热数据区存储实时数据等存储实时数据等管理机制管理机制Copyright2005,南开创元Introduction to 主存数据库-14主存数据库应用领域混合模式应用v电子商务领域 电子商务网络运营商,实时行情显示、网上银行、网上证券交易系统、航空订票 系统、国际贸易互联网谈判交易系统等大型的电子商务平台.v 通信领域 通信计费营帐系统，预付费业务，前台营业处理、实时网络管理系统、CTI技术、WAP服务器、智能网络服务、增值服务系统.v 多样化的网络终端服务系统 为便携电脑、手机、携带终端、游戏机、网络电视等网络终端提供互联网服务 v 实时系统领域 控制系统与自动化工程、电信通信、网络通信、航空航天、雷达信号处理、智能交通管理、实时GIS系统、铁道工程、POS销售终端、医疗仪器、车载信息系统、瘦客户机等 嵌入式系统模式应用Copyright2005,南开创元Introduction to 主存数据库-15数据网管数据网管传输网管传输网管话务网管话务网管oss门户认证门户认证BSS财务分析财务分析经营分析经营分析市场分析市场分析CRMMSSWeb Log EditorWebWeb Logs主存数据库主存数据库主存数据库电信应用领域Copyright2005,南开创元Introduction to 主存数据库-16二、二、Altibase 主存数据库产品介绍主存数据库产品介绍Altibase 主存数据库主存数据库Altibase DBMS服务器特色服务器特色Altibase 与商用磁盘数据库比较与商用磁盘数据库比较Altibase DBMS复制功能复制功能Altibase DBMS产品构成产品构成Altibase 应用领域应用领域Copyright2005,南开创元Introduction to 主存数据库-17Altibase 主存数据库v 目前世界上最先进的主存数据库目前世界上最先进的主存数据库v Altibase Altibase Co.,Ltd Co.,Ltd成立与成立与19991999年年1111月，先后与韩国电子通讯研究院月，先后与韩国电子通讯研究院 和美国和美国CONSOCIO Inc.CONSOCIO Inc.合作合作v 目前已应用于韩国目前已应用于韩国80%80%的电信厂商和运营商的电信厂商和运营商 （包括韩国电信，（包括韩国电信，SamsunSamsung.g.)Copyright2005,南开创元Introduction to 主存数据库-18问题Altibase的增强v 磁盘磁盘DBMSDBMS的局限的局限 性能上的不满意性能上的不满意 对整个系统过重的负担对整个系统过重的负担v 由于应用的局限性造成的不通用由于应用的局限性造成的不通用v 开发以及维护非常困难开发以及维护非常困难v 系统可用性、灵活性和效率方面的降低系统可用性、灵活性和效率方面的降低磁盘 DBMS用户定制用户定制实时系统领域Copyright2005,南开创元Introduction to 主存数据库-19Altibase 主存数据库的物理结构Server Threads Table ATable CMemory DB Datafiles Log filesLoganchorAltibase Database Datafile 1v 检查点操作：同步内存和磁盘数据文件中的数据v Loganchor：储存磁盘数据文件和日志文件的相关信息v 磁盘数据文件，Loganchor和日志文件保障了在事务失败/系统故障/媒体故障时可对数据库 进行完全恢复 Copyright2005,南开创元Introduction to 主存数据库-20v Altibase 数据库内存领域数据库内存领域:32K(217)Page的集合的集合Local(Process)or Shared Memory v Altibase 主存数据库最大容量主存数据库最大容量 32 Bit O/S:可扩展到可扩展到 217 Page 64 Bit O/S:可扩展到可扩展到 249 PageLocal or Shared Memory 均能自动扩展均能自动扩展Altibase 主存数据库内存结构Copyright2005,南开创元Introduction to 主存数据库-21Altibase DBMS 产品构架Altibase Product ArchitectureData ReplicationClient&Server Applications/ToolsReal-Time Application PgmsPhysical Memory 简洁的内存索引简洁的内存索引 直接的数据地址管理直接的数据地址管理 内存最佳数据结构内存最佳数据结构 内存最佳算法内存最佳算法Unlimited Database Size with 64bitDisk StructuresData PageProcess or Shared MemoryAltibase(Tables and Indices)IPC|UNIX DOMAIN|TCP/IPE/SQL|CLI|ODBC|JDBCDatafilesLoganchorLogfilesCopyright2005,南开创元Introduction to 主存数据库-22Hot TablesHot Tables(100%)(100%)Small sized DBSmall sized DBAltibase DBMS Altibase DBMS App.App.单独使用Altibase将全部数据和管理驻留在内存中将全部数据和管理驻留在内存中.v 针对需要高速处理的应用领域 CTI or HLR 实时处理系统 自动化处理、智能交通Copyright2005,南开创元Introduction to 主存数据库-23Cold TablesCold Tables(80%)(80%)HotHot Tables Tables(20%)(20%)Disk DBMSDisk DBMS(Oracle,Informix,Sybase,DB2,(Oracle,Informix,Sybase,DB2,)Altibase DBMS ApAltibase DBMS App.p.Disk DBMS App.Disk DBMS App.如何与磁盘数据库联用Altibase DBMS ApAltibase DBMS App.p.Disk DBMS App.Disk DBMS App.Hot Tables,Hot Tables,Gathering Real-time Data,Gathering Real-time Data,Shared Tables,etcShared Tables,etcStoring Cold Tables,Storing Cold Tables,History Data,etcHistory Data,etcAltibase DBMS ServerAltibase DBMS ServerCopyright2005,南开创元Introduction to 主存数据库-24Reference Site(V)Altibase 适用方案v 选择时间消耗较大的的已有应用程序，转换成 Altibase 的应用程序v 为了优化内存大小，把 应用程序使用的数据从 Oracle 提取，载入到 Altibasev 根据需要把在 Altibase 变更的数据反映到 Oraclev 数据提取,载入,应用程序执行等一系列 DB工作过程自动化处理Disk Based RDBMSMigrationImportPerformance-hungry APs Altibase ExportDisk Based RDBMSSyncSyncHot Transaction App.Copyright2005,南开创元Introduction to 主存数据库-25Reference Site(V)Altibase 适用方案(注意事项)v 为了使用为了使用 Altibase，首先要进行首先要进行data sizing，必须确保内存可以容纳所有的数据和应用程序运行开销必须确保内存可以容纳所有的数据和应用程序运行开销。AltibaseOracleData SizingTable Sizingrecord 条数*(data长度+24 byte)24 Byte:记录 Versioning 情况 Record Header 的长度基本 Data size+PCTFREE(default:10%)+PCTUSED(default:40%)vSizing 后一般情况下 Altibase 比 Oracle 更少 Index Sizing因为使用 T-tree，只储存数据存在的记录的指针，所以只需很少的空间 同时拥有 Value 和 Rowid的B*+Tree，所以需要很多空间 CPU v 运用 Application Busy 决定Applicationv Altibase 和 Oracle Pro*C Program 时句型几乎一样，所以只做一点的修改就能使用 Copyright2005,南开创元Introduction to 主存数据库-26ClientServerLockManagerRecoveryManagerTransactionManagerMemoryManagerCheckpointManagerLogManagerIndexManagerDictionaryManagerSQLParserOptimizerSQLExecutorStoredProcedureExtendedModuleManagerReplicationManagerSessionManagerAltibase DBMS 组成部分Copyright2005,南开创元Introduction to 主存数据库-27Altibase DBMS 服务器特色Altibase DBMS Server Feature综合了主存数据库领域目前已知的最先进的技术综合了主存数据库领域目前已知的最先进的技术.存储管理存储管理v 用用MVCC(Multi Version Concurrency Control)MVCC(Multi Version Concurrency Control)实现并发控制实现并发控制 使事务之间的冲突最小化.记录的读/写操作中不使用Lock和Latch v 实现死锁检测实现死锁检测v 保存点保存点(Implicit,Explicit)(Implicit,Explicit)v Fuzzy&Ping-pong Fuzzy&Ping-pong检查点检查点v 支持动态、共享内存数据库结构支持动态、共享内存数据库结构 数据库在运行时可以自动扩展v 支持支持T-Tree,T-Tree,部分部分B+-Tree,R-TreeB+-Tree,R-Treev 为了系统的多样性，在内存中或者磁盘上支持多种数据文件的格式为了系统的多样性，在内存中或者磁盘上支持多种数据文件的格式 数据文件和日志文件可以在不同的目录 数据文件可以由多个文件组成Copyright2005,南开创元Introduction to 主存数据库-28支持完整的支持完整的SQL92标准标准.查询处理查询处理Altibase DBMS 服务器特色多种内建函数多种内建函数v 基于基于WAL(Write Ahead Logging)WAL(Write Ahead Logging)的日志的日志 v 检查点检查点 脏页写到磁盘上.调整日志信息.(自动删除日志存档).管理当前处理的事务的信息.v 在线备份在线备份v 恢复的范围恢复的范围:事务失败事务失败/系统故障系统故障/媒体故障媒体故障日志日志&恢复恢复聚合，数字，字符，日期，转换，其它（聚合，数字，字符，日期，转换，其它（Decode等）等）v 嵌套查询没有限制嵌套查询没有限制v 表表join没有限制没有限制v 用用Hint调节查询调节查询v 执行计划执行计划v 扩展扩展DDLv 查询优化查询优化(CBO&RBO)增强增强v 支持复杂查询支持复杂查询v 支持分等级查询支持分等级查询Copyright2005,南开创元Introduction to 主存数据库-29应用开发环境应用开发环境v 提供标准提供标准CLI,ODBC,JDBC.CLI,ODBC,JDBC.v 提供提供Embedded SQL(Embedded SQL(预编译程序预编译程序)类似于 Oracle Pro*C/C+原来使用原来使用OracleOracle的的开发者很容易适应，可以降低开发开发者很容易适应，可以降低开发和维护成本，减少开发周期和维护成本，减少开发周期.支持多线程客户端v 支持存储过程支持存储过程v 支持本地存储过程支持本地存储过程(Native Stored Procedure)Native Stored Procedure)(嵌入式架构的替代功能嵌入式架构的替代功能)v 支持支持XAXA接口接口,负载平衡负载平衡v R-Tree(R-Tree(OpenGISOpenGIS 标准标准)v 提供各种工具提供各种工具 Sql 交互工具,dbadmin,audit,shmutil,等等.Altibase DBMS 服务器特色Copyright2005,南开创元Introduction to 主存数据库-30Altibase vs.Disk DBMSv Memory Copy Overhead 硬盘 RDBMS 的 application 不能直接访问数据库内存缓存中的特定记录，所以把记录拷贝到内存进行操作。但 Altibase 的所有的数据都存在于内存，所以直接访问特定记录。v Buffer Management Overhead 硬盘 RDBMS 把数据读到内存缓存中使用时,需要内存缓存往硬盘写 old pages 和变更数据状态的工作。DBMS“Engine”Run-Time DatabaseAltibaseMemory Copy Overhead Search Translation Overhead Buffer Mgmt Overhead Excess Features OverheadAltibase Main Memory RDBMSDisk based RDBMSData PageDisk-OptimizedRDBMS EngineApplication ProgramsProcess or Shared MemoryCopyright2005,南开创元Introduction to 主存数据库-31Altibase vs.Disk DBMSCPUPhysical MemoryDatabaseTablesIndicesBackup DBDatafile 1Logfile nDBSLOGSCPUPhysical MemoryBufferDatabaseDatafilesControlfilesRedofiles访问内存最佳的索引结构访问内存最佳的索引结构(使用使用 T-Tree)数据查询算法本身就很简单数据查询算法本身就很简单 (减少减少 CPU Time 占有率占有率)减少系统的负荷减少系统的负荷数据数据 caching 没有没有多余的数据拷贝多余的数据拷贝(Disk I/O)，减少了系统减少了系统负荷，负荷，Recovery 时时只发生必需的，最只发生必需的，最少少I/OSystem tablespaceUser tablespaceTable tablespaceIndex tablespaceRollback tablespaceTemporary tablespaceLogLogfile1Log anchorCopyright2005,南开创元Introduction to 主存数据库-32Altibase vs.Disk DBMS（内存管理）DBMS 的查询最佳算法的基本在于减少硬盘 I/O 次数DBMS 不能排除数据存在于硬盘的假设，所以使用了假设数据存在于硬盘的 最坏(worst case)情况的算法 v Altibase 的所有数据都存在于主存中，所以不需要考虑数据存在于硬盘的最坏情况，只需使用 最佳的算法访问数据 假设数据存在于磁盘假设数据存在于磁盘复杂的查询算法复杂的查询算法增加增加CPU Time 数据常驻主存数据常驻主存 简单的查询算法简单的查询算法减少减少CPU Time 已有基于硬盘的已有基于硬盘的DBMS Altibase Main Memory DBMS Copyright2005,南开创元Introduction to 主存数据库-33Altibase vs.Disk DBMS（索引算法）B-tree Index T-tree Index 无需把逻辑地址变换成物理地址 (直接指向相当于入口的纪录的内存地址)逻辑地址变换成物理地址的工作 (包含的数据页相当于入口的记录)T-tree entryT-tree nodememory data blockB-tree EntryKey-value RIDB-tree NodeData pageSlot基于硬盘的基于硬盘的DBMS Altibase Main Memory DBMS Copyright2005,南开创元Introduction to 主存数据库-34Altibase vs.Disk DBMSv 索引日志索引日志 Altibase一般不做对索引的日志一般不做对索引的日志，所以日志的量很少所以日志的量很少.v 检查点算法检查点算法 表面看起来只把脏页存储到磁盘备份数据区，其实为了对在线事务处理施表面看起来只把脏页存储到磁盘备份数据区，其实为了对在线事务处理施 加最小的影响，使用了加最小的影响，使用了Ping-pong&模糊检查点方法模糊检查点方法.v 因为所有数据都在内存中，所以读取数据时没有相关索引的因为所有数据都在内存中，所以读取数据时没有相关索引的 I/O，提高了更新和删除操作的速度提高了更新和删除操作的速度.Copyright2005,南开创元Introduction to 主存数据库-35Altibase vs.Disk DBMS（不间断服务构成方法）AltibaseDisk Based DBMS构成方法构成方法Replication(利用 Network)RAC(Disk Clustering)体现难度体现难度简单复杂性能低下程度性能低下程度比 Standalone server 10%不到比 Standalone server30 40%费用费用低(无需另外费用)高(Disk Clustering H/W 费用+Clustering S/W费用+RAC S/W费用)特点特点Table 单位数据库全部系统扩展性系统扩展性容易(N-way)困难优缺点优缺点容易体现多样的系统构成及 DR(灾难恢复)系统.设计系统时,要考虑数据冲突(提供相应策略)出现 Cluster 的硬盘故障时没有应付方法,受到地域的限制.RAC(OPS)Disk ClusteringReplicationDiskDiskCopyright2005,南开创元Introduction to 主存数据库-36Altibase vs.Disk DBMS（总结）产品区分产品区分Altibase DBMSDisk Based DBMS系统系统数据模型数据模型关系型关系型结构结构Client/ServerClient/Server服务器结构服务器结构Multi-ThreadProcess索引结构索引结构使用了内存最佳访问算法T-Tree使用B*Tree 处理同量事处理同量事务时系统性务时系统性能能CPU 使用率使用率使用简单的查询算法CPU 使用量最小化使用复杂的查询算法 CPU 使用率高DISK I/O只在 Recovery 时发生最低限度的 I/O,Insert,Update,Delete 时不发生直接的Disk I/O Insert,Update,Delete 时发生直接的 Disk I/O,数据 caching(Select)时进行数据拷贝发生不必要的 I/O事务处理性事务处理性能能(OLTP)比较比较INSERT5,740350UPDATE5,898323SELECT6,5002,530DELETE5,502340不间断服务不间断服务体现方式体现方式利用 Network 的复制方法无需添加 H/W，可以容易的体现RAC(OPS)结构时,必须进行 DISK Clustering，体现起来比较复杂性能性能组成服务器的性能下降不到 10%组成服务器的性能下降 3040%费用费用无需另外费用需另行购买 RAC(OPS),还有对硬件的 Disk Clustering 及 Clustering S/W 费用缺点缺点设计系统时,要考虑数据冲突被 Cluster 的硬盘故障时没有应付方法服务扩展性服务扩展性体现方式体现方式利用 N-Way 复制在服务增加时容易扩展服务增加时,可能要更换服务器 H/WCopyright2005,南开创元Introduction to 主存数据库-37测试部门测试部门Taiwan Chunghwa Telecom 测试结果v Telecommunication Laboratories BU8 PS Team测试实验室环境测试实验室环境 v SUN E4500,2GB main memory,2CPUs,SUN OS 5.8.v Access 100,000 records which include Number and Char type.测试实验室结果测试实验室结果测试项目Disk Based DBMSAltibase3 MMDBInsert 100,000 records took100 seconds1,000 tps7 seconds14,286 tps Update 100,000 records took115 seconds870 tps 5 seconds20,000 tpsDelete 100,000 records took 123 seconds813 tps 3 seconds33,333 tpsTruncate Table took2 seconds1 secondCopyright2005,南开创元Introduction to 主存数据库-38Altibase 与商用磁盘数据库性能比较 测试环境测试环境：Server:Server:sun E-450 sun E-450memory:4GBmemory:4GBCPU:2 CPU:2*400Mz 400Mz 测试部门：韩国测试部门：韩国 AltibaseAltibase 公司和韩国公司和韩国三星电子三星电子 比较产品：比较产品：AltibaseAltibase DBMS DBMS 和和 Disk Based DBMSDisk Based DBMS 测试工具：测试工具：TPC-B,TPC-HTPC-B,TPC-H Benchmark Benchmark 性能标准：性能标准：TPS(Transaction Per Second)TPS(Transaction Per Second)，每秒事务处理量每秒事务处理量Copyright2005,南开创元Introduction to 主存数据库-39性能比较简单查询性能测试01002003004005006007008009001,000,0005,000,00010,000,000磁盘 DBMSAltibase3数据量TPSTPC-B测试结果：测试结果：Altibase处理能力比磁盘数据库快处理能力比磁盘数据库快10倍以上倍以上Copyright2005,南开创元Introduction to 主存数据库-40050010001500200025001,000,0005,000,00010,000,000磁盘DBMSAltibase3Altibase3(NSP)数据量TPSTPC-B测试结果：使用测试结果：使用NSP使得使得Altibase的处理能力有进一步的提升（的处理能力有进一步的提升（2.5倍）倍）性能比较简单查询性能测试(NSP)Copyright2005,南开创元Introduction to 主存数据库-41性能比较 TPC-H测试v TPC-H Test是反映现代复杂商务情况的国际是反映现代复杂商务情况的国际DBMS性能测试基准性能测试基准v 测试适用于无法预测数据和频繁变化的网络环境的测试适用于无法预测数据和频繁变化的网络环境的DBMS的基准的基准v 由由22个复杂的个复杂的SQL语句构成语句构成什么叫什么叫TPC-H Test?05101520253035Q1Q2Q3Q4Q5Q6Q7Q8Q9Q10Q11Q12Q13Q14Q15Q16Q17Q18Q19Q20Q21Q22TPC-H倍数1测试结果：测试结果：Altibase的复杂查询处理能力比磁盘数据库有整体的提高的复杂查询处理能力比磁盘数据库有整体的提高Copyright2005,南开创元Introduction to 主存数据库-42TPC-H 性能测试(Altibase VS Disk DBMS)v Demonstrates multiple aspects of a servers ability to process queries in order to give answers Demonstrates multiple aspects of a servers ability to process queries in order to give answers to critical business questions of real-world.to critical business questions of real-world.v Evaluates a DBMSs ability to process unexpected data and apply to network environments with Evaluates a DBMSs ability to process unexpected data and apply to network environments with frequent change.frequent change.v Consists of 22 of complex SQL statements.Consists of 22 of complex SQL statements.QUERY Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q8 Q9 Q10 Q11 Q12 ORACLE 285.542.9593.186.3348.5323.1844.3824.2697.5124.544.94134.68BEST 83.350.275.971.9927.214.786.5420.9526.6214.141.466.26ToDay 91.050.338.282.944.6818.119.2627.3136.8816.51.777.06Q13 Q14 Q15 Q16 Q17 Q18 Q19 Q20 Q21 Q2272.893.7123.2114.047.02111.9329.1563.92204.797.7816.762.661.8210.990.1336.931.8316.95182.733.2417.423.421.9811.580.2444.611.9622.74232.073.49Copyright2005,南开创元Introduction to 主存数据库-43复制的必要性复制的必要性Altibase DBMS复制特色高可用性高可用性v 当系统发生故障时，可以立即访问down掉的数据存储的复制体。v 靠分配工作量到多个节点保证可伸缩性。DBMSAPAP v 可能是 故障点.可用性可用性=1 pn (p=down机的可能性机的可能性)例如：如果 p=5%,有复制的数据库系统 的可用性增加到 99.75%.DBMSAPAP v 会发生 瓶颈.降低系统响应时间 限制系统吞吐量负载平衡负载平衡(增强性能增强性能)Copyright2005,南开创元Introduction to 主存数据库-44数据库产品的复制方式：1.在一个应用程序中执行复制:当服务器性能降低和发生故障时很难保持数据库的 一致性.2.通过传送查询语句执行复制:负载平衡效率低，难以验证数据冲突 3.通过传送执行计划执行复制:数据传输的增加大大增加了通信量.4.通过转换日志为查询语句执行复制:转换和查询处理的成本很高.5.通过将发送的日志转换为执行计划执行复制通过将发送的日志转换为执行计划执行复制:需要转换成本，但是能够提高复制的性能需要转换成本，但是能够提高复制的性能.6.像服务器恢复一样发送日志，执行复制:速度快，但是不能实现active-active模式.Altibase DBMS复制特色实现复制的方法实现复制的方法 基于日志的复制基于日志的复制v Altibase 复制技术采用了读取储存事务内容的日志文件复制技术采用了读取储存事务内容的日志文件，并发给从复制服务器的同步方式并发给从复制服务器的同步方式.所以不会所以不会影响在主复制服务器进行的事物，只发生线程读取日志文件和创建事务并发送的负荷，所以只要影响在主复制服务器进行的事物，只发生线程读取日志文件和创建事务并发送的负荷，所以只要CPU资资源允许几乎没有性能下降源允许几乎没有性能下降.Copyright2005,南开创元Introduction to 主存数据库-45Altibase DBMS复制特色复制特性复制特性拓扑结构拓扑结构v 支持点支持点-点的复制点的复制.v 通过支持通过支持N向复制提供星型架构的复制拓扑结构向复制提供星型架构的复制拓扑结构.提高系统的容错、容灾能力 提供系统的负载均衡能力 v 基于日志基于日志 在数据库日志的基础上实现复制 使服务器的负荷最小化使服务器的负荷最小化 复制时保持standalone性能的90%以上.v 表级的复制表级的复制 可以复制整个数据库中的表的一部分.提高操作效率提高操作效率 v 实时复制实时复制 支持实时事务处理的实时复制 简化实时服务的实现简化实时服务的实现 提高可用性 当系统发生故障时，可以立即访问当系统发生故障时，可以立即访问downdown掉的数据存储的复制掉的数据存储的复制体，这样可以实现系统服务的连续性体，这样可以实现系统服务的连续性.v 高稳定性高稳定性 检测服务器的故障和网络错误并进行适当的错误处理.通过复制恢复保持数据的一致性通过复制恢复保持数据的一致性.现在,在30多个站点的150多个系统中正在运行着Altibase的复制系统 Copyright2005,南开创元Introduction to 主存数据库-46Altibase DBMS Server ARep_ManagerRep_ManagerAB_SenderAB_ReceiverAB_SenderAC_SenderAC_ReceiverRep_ManagerAltibase DBMS Server BAltibase DBMS Server CREP_ABREP_ACAB_ReceiverAltibase 复制特色 线程结构线程结构 与服务同步与服务同步&减少处理开销减少处理开销 包括包括管理器，发送器，接收器管理器，发送器，接收器线程线程 使占用的内部资源最小化使占用的内部资源最小化复制的内部结构复制的内部结构Copyright2005,南开创元Introduction to 主存数据库-47Server ATable AAltibaseServer BAltibaseServer CAltibaseTable ATable A XLOG XLOG Table ATable A XLOG XLOG Table ATable AInsert,Update,DeleteInsert,Update,DeleteTransaction Transaction Table ATable A Why Server B does not send XLOG transmitted from Server A to Server C?:Why Server B does not send XLOG transmitted from Server A to Server C?:Because infinite loop can occur if Table A was replicated between Server A and Server C.Because infinite loop can occur if Table A was replicated between Server A and Server C.Table AAltibaseServer BAltibaseServer CAltibaseTable ATable A XLOG XLOG Table ATable ATable ATable A XLOG XLOG Server ATable ATable AInsert,Update,DeleteInsert,Update,DeleteTransaction Transaction Server A(Active)Server A(Active)Server B(Standby),Server B(Standby),Server A(Active)Server C(Standby)Server A(Active)Server C(Standby)Altibase 复制技术Copyright2005,南开创元Introduction to 主存数据库-48如何使用 Altibase 复制技术v Altibase的 DB 复制接口 与 SQL是相同的结构,简单、容易使用.v 运营系统时,可以随意控制复制的Create,Start,Stop，所以容易运营及管理系统和服务.v 设计时尽可能的考虑到了客户的复制运营及管理的容易性.create replication rep1 with remotehost,portno remotehost,portno from localtableA to remotetableA,from localtableB to remotetableB,;drop replication rep1;alter replication rep1 start;alter replication rep1 stop;alter replication rep1 sync;alter replication rep1 quickstart;alter replication rep1 drop table from user_name.table_name to user_name.table_name;alter replication rep1 add table from user_name.table_name to user_name.table_name;alter replication rep1 add host remotehost,portno;alter replication rep1 drop host remotehost,portno;alter replication rep1 Set host remotehost,portno;复制对象复制对象 Creation复制复制 Start复制复制 Stop与被复制的服务器同步数据后与被复制的服务器同步数据后,Start不考虑之前状况，只考虑当前复制点不考虑之前状况，只考虑当前复制点 Start 快速快速 Start复制对象复制对象 Drop停止复制后停止复制后,删除复制删除复制 Table(对复制不能执行对复制不能执行DDL 语句语句)停止复制后停止复制后,添加复制添加复制 Table(对复制不能执行对复制不能执行DDL 语句语句)停止复制后停止复制后,添加添加 Host 停止复制后停止复制后,删除删除 Host停止复制后停止复制后,变更变更 Host Copyright2005,南开创元Introduction to 主存数据库-49 通过基于通过基于DB服务器功能的划分很容易提供可伸缩性服务器功能的划分很容易提供可伸缩性.Altibas