IBM公司ESB、WEBSPHERE、SOA技术交流.ppt

ESB设计与最佳实践 陆正武IBMCertificatedSOAArchitectluzw 东风汽车有限公司 2 议程 ESB SOA与WebSphere的关系什么时候需要用到ESBESB架构标准实践ESB设计原则实践IBM关于建立东风有限统一的ESB的建议方案IBMESB的独特优势IBMESB案例分享 ESB SOA和WebSphere的关系 4 AsPatternsHaveEvolved SoHasIBM 应用之间点对点的连接实现简单 基本的信息交互和数据传递 传统架构基于消息传递的模式 通过HUB模式实现应用之间的整合很容易管理大量的连接和系统 过渡架构企业应用整合 通过企业服务总线实现服务的整合集中和流程实现借助标准的接口灵活地连接 实现真正的随需应变 先进构架面向服务体系架构SOA IT构架的演变Thenextstageofintegration 5 一种充分利用开放标准 将软件资产展现为服务的结构提供软件资产标准的展现和交互途径在开发其他应用的时候 可以将独立的软件资产封装为一个一个的 积木 更注重应用之间的装配而不是实现细节 什么是SOA 为什么采用SOA 封装可以实现重用采用独立的实现接口描述 容易整合各种应用由于明确定义了应用系统间的接口 容易实现应用流程模型 就象搭积木 6 关键概念 SOA通过明确的定义和松散藕荷来提升系统间的弹性 Service 服务任何事情都可以是一个服务 一个实现了唯一功能的自包容的实体Service交互外部用户调用服务服务可以彼此交互 调用操作和交换数据Service交互可以是间接的Service编排通过调用服务 可以编排实现业务流程Service发现一个注册的服务可以在构建时或者运行时被发现 7 ServiceInteraction 企业服务总线 ESB 概念经常用来表示服务互相交互的机制 它提供了通信的基础架构企业服务总线应当提供 一致的 位置透明的 协议独立的手段来实现交互一致的 位置透明的交互意味服务消费者和提供者之间可以是间接的无论何种通信服务 应提供端到端的连通保证 8 什么是EnterpriseServiceBus AnEnterpriseServiceBusisacorecomponentofaServicesOrientedArchitecture 它连接和集成企业和组织的ITinfrastructure acrossmanylocations 支持不同的transportservices and 它可以自动路由消息并且提供系统级的功能 如 消息的格式自动转换 and 必须是基于标准的规范 and 这些必须是安全的 可靠的 并且在高负荷的情况下可管理 9 ESB应该有哪些服务 传输服务安全 可靠的数据传输永久性 非永久性同步 异步仲裁服务路由格式转换事件服务事件发现和发布Publish Subscribe AnEnterpriseServiceBus ESB isaflexibleconnectivityinfrastructureforintegratingapplicationsandservices AnESBpowersyourSOAbyreducingthenumber size andcomplexityofinterfaces 10 业务创新和优化 业务用面板 IT对流程的支持 SOA参考架构 11 IBM软件助您实现整合计算 信息 流程 人员 软件资产管理和整合开发平台 12 SOA参考框架下WebSphere产品线 IT服务管理 业务创新和优化服务 业务应用程序服务 开发服务 合作伙伴服务 应用程序和信息资产 连接性服务 流程服务 信息服务 交互服务 BusinessModeler WebSphere 工具 Rational BusinessMonitor WebSphere Tivoli 工具 Portal WebSphere Workplace IBM InformationIntegrator BIServerFoundation WebSphere WebSphere WebSphere WebSphere ApplicationServer PartnerGateway MQ WebSphere MessageBroker WebSphere Tivoli IntelligentOrchestrator Tivoli Monitoring Tivoli AccessManager InformationIntegrator WebSphere BusinessIntegrationAdapters WebSphere WebSphere ESB WebSphere ProcessServer IntegrationDeveloper WebSphere DataPower 什么时候需要用ESB 14 什么时候需要用ESB ESB网关 recommendationDataPowerSOAAppliance foranyexternalservicestoprotectagainstXMLthreats中介betweennon standardsbasedsystemsandstandardsbasedsystems支持动态更改提供者 routing replacement loadbalancing protocolchanges IncludingversioningMinimizechangestorequestors支持请求者与提供者之间协议和数据格式不同时的交互AddingnewrequestorswhoarenotanexactmatchwithproviderCommonsecurity management monitoringenforcement 15 ESB架构模式核心原则 ESBinter connectsrequesterandproviderInteractionsaredecoupledSupportskeySOAprinciple separationofconcernsESBprovidesServiceVirtualizationofIdentityviaroutingInteractionviaconversionInterfaceviatransformationESBalsoenablesAspectOrientedConnectivitySecurityManagementLoggingAuditing DescribedinawhitepaperbyGregFlurry ESB ESB架构实践 17 1 确定参考架构 ESB涉及多平台 多项目UsuallyspearheadedbyacorporateArchitectureteamorInfrastructureteamNeedsparticipationandagreementfromNetworking Security ApplicationDevelopment andOperationsAReferenceArchitectureisakeydocumentandprocessforsecuringthisagreementacrossallstakeholders核心架构 设计和管控决策可选的技术路线和设计模式提供常见场景和使用实践 18 定义接口和连接标准 ESB功能全面 大多数企业不会使用到所有功能Youneedtodecidewhatconnectivityoptionstoallowbothinternallyandexternally确定总线上实现哪些功能及gateways和adaptersGatewaysareaccesspointsforbridgingonandoffthebusCanbeusedaspolicyenforcementpointsAdaptersaremechanismsforbringinginformationontooroffofthebus确定采用哪种标准路线Emphasizeindustrystandardsforexternal partner communication确定所支持的常见数据表示Canonicalmessageformatsallowforsharedtransformationmediations 19 ExpandedviewoftheESB 20 以ESB为中心的逻辑模型 OutsideESBBusinessLogic BusinessServices ESBdoescontainintegrationlogicorconnectivitylogicCriteria semanticsversussyntax aspectsLooselycoupledtoESBSecurityandManagementPolicyDecisionPointoutsidetheESBESBcanbePolicyEnforcementPoint TightlycoupledtoESBServiceRegistryRegistryaPolicyDecisionPointforESBESBaPolicyEnforcementPointforRegistryBut RegistryhasabroaderscopeinSOAToolingrequiredforESBDevelopmentAdministrationConfiguresESBviaServiceRegistry ESB ManagementServices Security Management ApplicationServices Information Process Interaction Access BusinessApp Partner Registry DevelopmentServices 21 2 定义公共术语表 ESB没有统一的术语VendorsandclientsarevariableintheirdefinitionofwhatispartoftheESBandterminologyIBMhasvaryingterminologyinourESBproductsPatternsworkhasitsownterminology构建ESB SOA时非常重要的一点就是建立统一的术语表 22 使用规范还是标准 AspecificationoutlinesAPIs data formatsfromoneormorevendorsworkingtogetherProposedbyvendorstoaddressagapOftensupportedbysomevendor ssoftwareUsuallysubmittedtoastandardsbodyMorecompaniesgetinvolved specificationchanges sometimesmergedwithcompetingspecificationsGoesthroughmultipledraftsandreviewsStandardisagreedtobythestandardsbody scommitteemembersandisdeclareda versionx standardStandardsbodiesvarybyprocess rigor respectandadoptionrateAndspecificstandardsvarywrttoadoption 23 3 Applycriteriaonwhethertouseastandardorspecification 是否很好地描述了我们的需求 标准是否覆盖了我们的需求 是否需要在不同平台上的互操作性和可移植性 采用的到底是标准还是规范 标准和规范的成熟度如何 是否支持所有的供应商平台 版本是否具有连续性 采用的标准是否支持WS I 我们的供应商是否也支持 是否需要采用最新版本的标准 如果供应商系统不支持现有标准 只支持早期的规范 如何移植 是否可以增加一层标准的API 以保护你的代码 采用的标准和规范是否比我们所需要的更复杂 24 4 从企业基础架构中分离出业务逻辑 基本设计原则 需要分离考虑 BusinesslogicdoesnotbelonginmediationsESB架构于业务逻辑之上 thebusinesslogicmayputinformationintoheadersExample businesslogicdetermineswhetheracustomerdeservesprioritytreatment setsaflagintheheader theESBroutestohighestperformingprovider分离业务逻辑和应用程序逻辑UseBPELandchoreographyforthatinstead 25 5 采用基于模式的研究方法 EnterpriseIntegrationPatterns Hohpe hasasetof60 patternsthatcovercommonmessagingandEIsituationsIncludesanabstractnotationforrepresentingthepatternsUsingthisnotationallowsyoutodecideonthecontentandflowofthemediationswithouthavingimplementationconsiderationsdrivetheprocess帮助实现多个ESB产品之间耦合的配置方便查找应用程序之间的公共部分在大多数ESB工具中容易实现 WMB WESB DataPower UsetheIBMPatternsfore BusinesstomapoutyourESBtopologies 26 EIPPatternsOrganization Application Application Message Channel Routing Translation Endpoint SystemsManagement 27 TheSOA ESBDesignPattern P4eB DemilitarizedZone WebServicesGateway PartnerZone EnterpriseSecureZone EnterpriseServiceBus EnterpriseServiceBusGateway Back endResourceGateway DomainFirewall Inter EnterpriseZone ProtocolFirewall NetworkInfrastructure 28 6 确定服务提供者查找方法论 ESB需要提供者的源头 AnESBmustsendthemessagetooneormoreproviderendpoints在可选的提供者之间作出选择OptionsformanagingendpointlookupNotrecommendedNoendpointlookup fixedaddresses ChangeendpointadministrativelyontheESBserversProvidermustkeeptrackofallESBserverswhichcancallitIPsprayingorloadbalancingbetweenESBandprovidersLimitedtoIP providersmaybeoutsideofyourdomainEndpoint s lookupfromaregistry使用Cache 而不是直接向注册库ProvidersupdatetheregistrywithnewendpointsSeparatesESBfromtheproviders允许无缝增加新的providers和ESB服务器 29 6 Messageistransformedandroutedtotheselectedendpoint Message 1 AMessageisreceived ESBMediation 2 Invokesaselectionmediation 3 Retrieverequestorinformation 4 Retrievescandidateprovidersinformation Message 5 Executesmatchingalgorithmtoidentifytheproviderserviceforrequestorservice Message Service Dynamicselection WSRRsupportWESB6 0 2mediationprimitivePortTypematchWMBSupportPacPortTypematchGeneralmetadataretrievalDP3 6 0 8andhigherfirmware 7 使用Service注册表 30 8 确定Services版本方法 Option1 利用兼容的schema设计实现Option2 在ESB中实现多版本的 Option3 利用ESB在不同版本之间进行转换 31 ServicesVersioningApproaches 32 9 设置端到端的QOS指导方针 在SOA中 性能方面的考虑比其他非SOA的应用复杂得多NeedtoincludemediationsandtransportsinperformancebudgetsMoresharedresourcestoconsider需要了解每个service的负载及应用程序中介的负担对SOA流程端到端的监控计划采用可选的技术 如DP和WebSphereXD来管理QOS 33 10 设立公共安全策略 ESB是共享资源 安全策略更为重要Thisisaleast commondenominatorfromwhichyoucanexpandSecuritymustbeholisticEachenterprisehasitsownbalanceofriskandcountermeasuresbutultimatelymustsupportthebusinessmodelforinformationprotection useraccess定义端到端的安全模型Documentexistingsecuritypractices policiesandrequirementsPerformariskassessmenttodocumentvulnerabilitiesandcountermeasurestoaddressknownrisksWhatarethelegalissuesinvolved Arethererequirementswherepoliciesare shouldbe beingenforced Isamanualprocedure codereview forapplicationdevelopmentthecontrolpoint 确定安全策略及策略控制点 34 11 DetermineOwnershipoftheESB ThequestionofwhoownstheESB s oftennearlystopsmanyESBprojects网络组 核心架构组 项目组管理ESBs 大多数案例中 中央集权的管理是成功的在ESB中只部分需要共享的WEB资源Ifcentralizationisimpossible thenacentralteamshouldcontrolfederation ESB设计原则实践 36 1 确定规范或不规范消息模型 在ESB中建议采用一致规范的消息模型 Ifanyrequesterorproviderdoesnotunderstandthecanonicalmessage Hohpe thenthecanonicalmessageistransformedintothemessageformatoftherequesterorprovider ThistransformationmaybedonebyESBoronetherequesterorprovider 如果没有规范的消息模型 ESB就成了点对点的集成Whichincreasescosttoaddnewrequestorsandproviders 37 Whendoyouadoptastandardoraspecification IndustryStandardsandXMLSchemaissues ESB采用工业标准的规范格式在需要集成供应商和客户的系统时更需要采用工业标准不同行业有自己的行业标准SomepopularonesHL7forhealthcare ACORDforinsurance有些客户需要扩展某些标准ManyindustryschemasleverageXMLSchemaelementsthatarenot yet wellsupportedbyWebserviceenvironments toolsMostcommonexamplesareandxsd choice VendorsupportforthesecomplexschemaelementsisvariedinsomecasesproprietaryornotfullysupportedTrytoavoidthoseifyoucanJAX RPChaslimitedschemasupport JAX WS2 0 JAXB2 0willsupportfullsetofschemaelementsInourproductsJAX RPCsupportedbyWAS5 0 2 6 1solimitedsupportWAS6 0andabove youcanpluginJAX Band orcustomserializersWebservicesfeaturepackwillsupportJAX WSandJAX BWebSphereESBandWPShavelimitedsupport 38 利用Adapters集成现有系统 AnESBmustallowaccesstoexistingEnterpriseInformationSystemsAdapterstypicallyused andmayormaynotbepartoftheESBTechnology技术适配器Application应用适配器Legacy遗留系统适配器适配器与ESB的位置关系 OutsideoftheESB andinsidetheEISdomainOutsidetheESB andtheEISdomainOntheboundaryoftheESBInsidetheESBAdapters两个关键技术点CommunicationprotocolMessageformat 39 2 确定哪个应用程序需要适应总线 Whoisresponsibleforbuildingadaptersontothebusisagovernanceissue Itisfrequentlydrivenbyownership power andfundingconsiderations ItmaybeinfluencedbythetechnicalconsiderationsOptions ESBdeclarescanonicalmessagesandallrequestorsandprovidersadapttothecanonicalformat ESBadaptsallproviders oralimitedset toacanonicalformat Requestorsadapttocanonicalformat ESBadaptsrequestors usuallylegacyrequestor tocanonicalorproviderspecificformat ESBadaptsdirectlyfromaproviderformattoaspecificrequestorformat basicallypointtopoint 40 3 仅当需要的时候才用可靠性和事务处理功能 QoSincludesnotonlyperformancebutreliabilitymeasuresaswellUsereliabledeliverysparinglyRelativelyhighperformancepenaltyLimitedtosometransportsorstandards少用事务利用services而不是本地调用 41 4 将基本信息放在消息头中 而不是消息体中 Placeinfrastructurelogicsuchassecurity logginglevels clientapplicationidentifyinaheaderwhichisseparatefromthebodyofamessageESBsaredesignedtosupportseparationofinfrastructureprocessingfromservicelogicandarefrequentlyoptimizedtouseheaders It sbettertouseheaderswhichareprotocolindependenttoallowheaderinformationtoseamlesslyflowacrossthevariousprotocolsthebussupports NoheadermappingisrequiredasthebusconvertstoanewprotocolIncludedinSOAPisseparationoftheheaderfromthebodyWhendesigningyourownmessageformats haveaheadersectionandabodysection 42 5 ESB联邦设计 基本上每个大型ESB项目都会遇到ESB联邦MultipleproductsusedforESBfunctionalityMultiplesitesdictatemultipleproductinstallationsOrganizational CorporateorpoliticalboundariesmaydictatetheboundaryofanESBESB联邦最佳解决方案是采用gatewayRoutingrequeststotheappropriateESB localorremote HandlingspecialsecurityrequirementsacrossboundariesProvidingloggingandauditingrequirementsacrossboundariesDealingwithtechnologydifferencesintransportorformat 43 ESB联邦 WESB WMB HTTPBackboneWS Security MQBackboneTransportSecurity XI50Gateway 站点1 站点2 IBM关于建立东风有限统一的ESB的建议方案 45 IBMESB简介 标准的企业服务总线 WebSphereESB高级的企业服务总线 WebSphereMessageBroker企业服务总线Gateway DataPower 46 WebSphereESB架构 C Client NetClient WebSphereESB WebSphereApplicationServer TivoliAccessManager DB2UniversalDatabase EdgeComponents JavaandC C WebServicesClient Clients Messaging JMS1 1 MQinteroperability MediationFunction WebServices WebSphereAdapterSupport XSLT MessageRouter MessageLogger DBLookup WS SOAP HTTP UDDIRegistry3 0 SOAP JMS LightweightJavaClientcoming WebSphereIntegrationDeveloper SCAProgrammingModel SDO SCA 47 WebSphereApplicationServer Increasedcapabilities automation BusinessProcess ESB Aworld classJ2EEfoundationprovidingindustry leadinglevelsofavailability scalability andperformance WebSphereProcessServer Forcustomerswhowantahigherlevelsolutiontodesign automateandmanagecompositeapplicationsandoperationalbusinessprocesses BuiltonWebSphereESB WebSphereESB AnewproductthatdeliversanEnterpriseServiceBus ProvidesWebServicesconnectivityanddatatransformation BuiltonWebSphereApplicationServer Subset Superset WebSphereESB的位置 48 WebSphereESBandWebSphereMessageBroker ESB WebSphereESB AdvancedESB WebSphereMessageBroker CustomersfacearangeofESBrequirements Asaresult anygivenprojectmightrequireanESBoranAdvancedESB ORBOTH WebServicesconnectivityanddatatransformation WebServices JMS WebSphereMQ HTTP XML WebSphereAdapters JMS TIBCORendezvous WebServices WeblogicJMS WebSphereMQ TIBCOEMSJMS HTTP SonicMQJMS Biztalk MQe Tuxedo Real timeIP FTP Multicast MQTT XML COBOLCopybook EDI X 12 ACORD EDI FACT ebXML AL3 HIPAA HL7 SWIFT FIX CustomFormats Word Excel PDF Plusthefollowing WebSphereAdapters Universalconnectivityanddatatransformation 核心版 高级版 49 SOA利器 WebSphereDataPower IBM和DataPower利用专用的耐久性SOA设备 为SOA实施提供优异的性能与硬件安全性 重新定义了中间件的界限 扩大了SOA的基础 简化SOA专用的SOA设备 部署 管理及维护更加简便 降低成本 保护SOA集中化管理 丰富的安全策略 更高的可靠性 有力保障系统安全 加速SOA无与伦比的XML处理能力 大幅提高系统处理速度和吞吐量 50 DataPower典型应用场景 保护对外的Web服务支持合作伙伴 客户安全地访问记录的后端系统传统系统集成把大型机或传统应用连接到Web服务SOAHUB式的中介服务在应用和Web服务间有效地转换 路由 记录消息加速动态的Web站点加快XML HTML渲染 用于动态内容生成 51 东风汽车有限公司ESB建议方案 企业组ESB部门 应用级ESBESBGateway 52 企业级ESB典型方案 EnterpriseServiceBus MB 交互服务 Web页面 内部流程服务 Web页面 DMS 召回系统 SAP OA Adapter SOAP JMS IIOP SOAP JMS IIOP SOAP JMS IIOP SOAP JMS IIOP SOAP JMS IIOP 新车销售系统 SOAP JMS IIOP EnterpriseServiceBus MB WESB SCM系统 WEB展现 53 WPSCluster 开发与部署架构 WebSphereMessageBroker BrokerDomain WebSphereMessageBroker BrokerDomain ESBCluster UserApp v6ConfigManager ConfigManagerProxy UserApp ConfigManagerProxy 开发 Adapter MQ JMS HTTP SOAP WebSphereProcessServer NodeAgent WebSphereProcessServer NodeAgent IBMESB的独特优势 55 为什么不采用传统架构 而是采用ESB总线方案 采用传统架构可以实现系统交互自行开发定义系统间数据接口和应用接口采用总线的优势利用开放标准 将软件资产展现为服务的结构面向服务的体系架构完全松耦合架构提升系统间的弹性采用独立的实现接口描述 单一对外接口 容易实现各种应用整合由于明确定义了应用系统间的接口 容易实现应用流程模型 就象搭积木 总体性价比升级 维护易于管理和监控 56 IBMESB独特的能力 AnESB必须提供 支持开放的标准具有消息中间件的能力支持遗留的传统应用具有高效的能力 方便的系统管理特点 IBM sESB产品是唯一满足上述要求的产品是开放技术制订和实现的技术领导者提供了最好的消息系统 这是ESB的灵魂IBM是唯一能够提供传输服务的EAI厂商 因为我们有MQ 57 IBM总线方案的强大优势 应用集成 ESB中间件市场比较 2005byGartner 58 IBMESB独特的能力 可以充分利用各种平台和环境利用适配器连接各种应用系统提供对传统应用的连接能力 如CICS IMS 等 优异的处理性能在业界同类产品中的性能是无可比拟的 它内部用于数据处理的消息流是以多线程方式工作的 同一个消息流还可以分配到不同的执行组 从而提高整个系统的运行效率完善的功能消息格式转换 不是一切皆XMLSOA利器 DataPower 59 IBMESB独特优势 交易完整性保证支持不同层次的交易完整性要求 例如 可以设定整个消息流为一个完整的交易 当某一环节发生错误时 整个消息流回滚 保证数据一致性 高可靠性和高扩展性单节点 多节点 强大的Cluster功能具有理解和管理各类系统的能力支持统一的监控和管理框架 CommonEventInfrastructure利用Tivoli相关产品进行全面的系统监控和管理开发简单 60 IBMESB独特优势 强大的连接性 IBMESB案例分享 民航航空安全系统整合技术方案 63 民航信息建设要求 利用现代信息技术建立完整的高速网络交换平台建立高效 及时 准确 完整 统一的民航安全运行管理信息系统满足各种应用系统集成的需要完整的管理机制满足运行和维护的需要 64 航安系统整合实现框架 65 方案总结 民航航空安全系统整合技术方案 首先保证在一个异构的环境中实现信息稳定 可靠的传输屏蔽掉用户实际中的硬件层 操作系统层 网络层等相对复杂 烦琐的界面 为用户提供一个统一 标准的信息通道 保证用户的逻辑应用和这些底层平台没有任何关系提供一个基于application hub的先进应用整合理念 最大限度地减少应用系统互联所面临的复杂性基于WBI系统的实现维护都相对简单 保证每一个应用系统的更新和修改都能够实时地实现 当新的应用系统出现时能够简便的纳入到整个IT环境当中 与其它的应用系统相互协作 共同为用户提供服务 是我们实现企业应用互联和流程管理的最佳实现方案 中国人民银行国库信息处理系统 67 建设目标 国库信息处理系统 TreasuryInformationProcessingSystem 是一个以国库横行联网的业务流程和工作流程为基础 连接税务 财政 国库及商业银行等业务部门的信息集成处理系统 用于传递 处理税款缴纳 划分 入库 退库 对账 业务监管 统计分析等各项业务的电子信息 高性能高可靠安全扩展性好集成平台 68 中国人民银行国库信息处理系统业务关联图 69 中国人民银行国库信息处理系统 70 IBMESB总结 为基础服务和业务服务提供稳定的集中平台高性能 提供强大的负载均衡功能 提高系统的吞吐率部署和配置简单 管理界面友好 容易监控强大的系统连通性 支持多种协议 多种系统接口和多种接入方式数据传输安全可靠 提供系统的实时响应灵活的架构 对任何一个接入系统影响都最小开发简单 开发周期短 降低投资风险 71 ThankYou Merci Grazie Gracias Obrigado Danke Japanese English French Russian German Italian Spanish BrazilianPortuguese Arabic TraditionalChinese SimplifiedChinese Thai