服务器性能测试指标介绍

服务器性能测试指标介绍当前业界常见的服务器性能指标有:TPC-CTPC-ETPC-HSPECjbb2005SPECjEnterprise2010SPECint2006 及 SPECint_rate_2006SPECfp2006 及 SPECfp_rate_2006SAP SD 2-TierUNPACKRPE2一、TPC (Transaction Processing Performance Council)即联机交易处理性能协 会,成立于1988年的非盈利组织，各主要软硬件供应商均参与，成立目标:为业界 提 供可信的数据库及交易处理基准测试结果，当前发布主要基准测试为：TPC-C :数据库在线查询(OLTP)交易性能TPC-E :数据库在线查询(OLTP)交易性能TPC-H :商业智能/数据仓库/在线分析(OLAP)交易性能1 . TPC-C测试内容：数据库事务处理测试，模拟一个批发商的订单管理系 统。实际衡量服务器及数据库软件处理在线查询交易处理(OLTP)的性能表现正 规TPC-C测试结果发布必须提供tpmC值,即每分钟完成多少笔TPC-C数据库交易 (TPC-CTransaction PerMinute)洞时要提供性价比$/tpmC。如果把TPC-C测试结果 写成为tpm, TPM, TPMCJPCC均不属正规。2 .TPC-E测试内容：数据库事务处理测试，模拟一个证券交易系统。与TPC C 一样，实际衡量服务器及数据库软件处理在线查询交易处理(OLTP)的性能 表 现。正规TPC-E测试结果必须提供tpsE值，即每秒钟完成多少笔TPC-E数据 库交 易(transaction persecond),同时提供$/tpsE。测试结果写成其他形式均不 属正规。对比：TPC E测试较TPC C测试，在测试模型搭建上增加了应用服务器 层，同时增加了数据库结构的复杂性，测试成本相对降低。截止目前，TPC-E的 测试 结果仅公布有50种左右，且测试坏境均为PC服务器和windows操作系统， 并 无power服务器的测试结果。除此之外，TPC官方组织并未声明TPC-E取代 TPC-C,所以,说TPC - E取代TPC-C并没有根据。附TPC-C与TPC-E数据库结构对比3. TPC-H测试内容：对大型数据仓库进行决策支持(decision support)的基准 测试。TPC-H包含一组复杂的业务查询及修改操作，属于商业智能/数据仓库/在线分析(OLAP)交易性能测试。测试结果按数据仓库的大小分为100G B/300G B/lTB/3TB/10TB/30TBo不同容量级别的测试结果不能进行对比。测试结果必须包含QphHsize &$/QphHsize。因各厂家测试选择的测试 级 别不同，所以结果的可比性较低。二、SPEC (Standard Performance Evaluation Council)即标准性能评估协会，成 立于1988年的非盈利组织，最初由多家工作站厂家建立及后发展到各主要软硬 件供应商均参与，成立目标:为业界提供现实而标准化之性能测试，为市场提供 公平和各种有用的量度标准，并在发挥厂家优势及严格遵守法则之间取得平衡。 SPEC发布各种不同种类的基准测试,包括：SPECjbb2005:作为JAVA应用服务器之性能SPECjEnterprise2010:服务器执行J2EE应用之性能SPEC CPU 2006:处理器单核或多核在处理整点及浮点计算性能4.SPECjbb2005 （Java Business Benchmark）基准测试模拟一个三层架构环境来 进行JAVA应用服务器测试，目的是衡量应用服务器端JAVA应用（Server-side JavaApplication）之性能。正规SPECjbb2005测试结果发布必须提供bops值,即每 秒钟完成多少笔JAVA业务操作（Business Operation Per Second），同时要求提供完 整的测试环境资料，包括：服务器名称，处理器内核数量，线程数量，JVM名 称，JVM数量,bops/JVM性能等。5,SPECjEnterprise2010基准测试:模拟汽车供应链系统，来测试采用J2EE （Java 2Enterprise Edition） 5.0 技术之应用服务器性能。正规 SPECjEnterprise2010 测试结果发布必须提供EjOPS值,即每秒钟完成多少笔企业级JAVA操作（Enterprise javaOperation Per Second ），同时要求提供完整的测试环境资料，包 括：Java EE应用服务器名称,DB服务器名称，处理器内核数量，J2EE服务器数 量 等。6 SPECint2006及SPECintate_2006基准测试之目的，分别是衡量单处理器 （吞吐量）及多处理器（整机）的整点计算能力和编译器的优化能力测试结果为 相对性能值，主要反映处理器整点计算、吞吐量、缓存性能及编译器之优化能 力,SPEC整点计算能力提供共4类型测试结果，分别如下：SPEC标准选项来编译测试应用厂家最优化选项来编译测试应用单处理器（吞 吐量）整点计算能力SPECint_base2006多处理器（整机）整点计算能力SPECint_rate_base2006SPECint2006SPECint_rate_20067.SPECfp2006及SPECfp_rate_2006基准测试之目的，分别是衡量单处理器 （吞吐量）及多处理器（整机）的浮点计算能力和编译器的优化能力测试结果 为相对性能值,主要反映处理器浮点计算、缓存性能及编译器之优化能力. SPEC浮 点计算能力提供共4类型测试结果，分别如下SPEC标准选项来编译测试应用厂家最优化选项来编译测试应用单处理器（吞 吐量）浮点计算能力多处理器（整机）浮点计算能力SPECfpJ3ase2006SPECfp_rate_base2006SPECfp2006SPECfp_rate_2006 三、SAP 基准测试组织 由 SAP及其技术合作伙伴代表组成，包括各主要软硬件供应商支持，设立目标：提供 一个专门为SAP ERP企业资源管理应用设计的基准测试工具,所有厂家必须 通过 SAP测试性能作为SAP服务器配置zing)的标准指标。SAP基准测试组织 发布各 种不同种类的基准测试,包括：SAP SD (2-Tier / 3-Tier) Standard Application Benchmark : SAP Sales &Distribution ModuleSAP BW Standard Application Benchmark : SAP Business Information WarehouseModuleSAP TRBK Standard Application Benchmark : SAP Banking Account & DepositeManageme ntSAP Enterprise Portal-ESS Standard Application Benchmark : SAP NetWeaverPortal8.SAP SD 2-Tier基准测试内容：衡量不同硬件厂家加上数据库后执行SAP企 业资源管理应用销售及分销(SD即Sales & Distribution)模块时的性能表现。SAP SD 两层结构基准测试将应用服务器及数据库服务器安装在同一台物理服务器上。测 试结果会被标准化成SAP SD应用模块的SAPS应用标准性能值(SAP Application Performanee Standard)。SAPS为一个独立于硬件的性能指标。100 SAPS值在SAPSD应用定义里等同 于每小时 2000 笔商业处理定单项目(fully business processed order line items per hour)。每一笔商业处理定单项目包含新定单产生、发货单产生、定单显示、改变 发货内容、货品录入、列出定单及产生发票；从技术角度来说，等同于每小时 2400笔SAP交易或每小时6000笔对话(控制台改变)加上每小时2000笔录入 操 作。四、Unpack是业界应用最广的的用于测试高性能计算机系统浮点性能的 benchmark,在目标集群中运行Unpack测试程序测试结果以浮点运算每秒 (Flops)给出。MFIops=每秒一百万次(10人6)浮点运算GFIops=每秒十亿次(10八9)浮点运算TFIops=每秒一万亿次(10T2)浮点运算PFIops二每秒一千万亿次(10T5)浮点运算五、RPE2 是 relative performance estimate 2 的缩写，由 IDEAS international 公 司发布。它只是理论上，通过对 TPC-CTPC-H,SAPSD2-Tier,SPECjbb,SPECint_rate, SPECfp_rate等benchmark进行几何运算得来，并不经过真实的测 试坏境。主要为 了在不同的产品在不同的benchmark各有优劣时进行比较。 6/5