支付公司核心账务系统总体设计方案和对策v1

北京市万隆然博科技有限责任公司乐视核心账务系统总体设计方案技术方案概要书杨磊2014-9-21目录1.项目背景2.系统方案2.1.总体流程2.2.系统架构2.3.系统功能设计2.3.1. 前置子系统2.3.2. 核心子系统6.2.3.3. 清结算子系统122.3.4. 管理子系统3.系统设计原则1.54.网络拓扑图175.系统部署1.9.5.1.系统运行环境1.95.2.数据管理195.3.文件系统管理1.9195.3.1. 文件系统空间管理策略205.3.2. 文件系统归档备份策略5.4.数据库管理215.4.1.数据库文件系统空间管理策略21215.4.2. 数据库存储空间估算543.数据库空间管理策略 22.5.44数据库备份策略226. 信息类别及处理原则246.1.业务分级处理246.2. 数据分级保护 247. 7.应用层安全设计2.5.7.1. 身份认证257.2. 访问控希9 267.3. 数据加密277.4. 数据完整性和不可否认性277.5. 代码安全277.6. 异常监控287.7. 业务安全管理 287.8.审计跟踪291. 项目背景本文档是乐视支付核心账务系统的设计文档，文中对系统的整体架构进行 描述，对开发设计、系统测试、并行上线等阶段提供指导作用。同时，本文档 划分了系统的组成结构，并定义了各组成模块的实现功能、以及采用的相关技 术，指导各子模块的设计工作及开发工作 。文档内容可以等价于以往项目定义 文档中的软件架构HLD和平台环境HLD。本文档的阅读对象是软件开发人员、业务规范设计人员、软件测试人员、 系统安装人员及用户代表。核心账务系统一期只实现了全网与一家财富公司直连 。2. 系统方案2.1. 总体流程总体主要的流程包括开立账户、注销账户两个主要流程。开立账户流程1）客户与乐视签订互联网支付服务协议2）客户提交开户材料3）核实客户身份证明文件4）为客户开立结算账户并通过登记的联系方式通知客户5）客尸登录系统完成客尸账尸初始化（修改密码、指定对应的银行结算账户）*客户在银行开立的账户称为客户银行结算账户，客户在公司开立的非银行结算账户称为客户交易账户。22系统架构项目的体系结构如下图所示：疾口模快业处商户后台砂交易管理模块中血（消息、应用般务器） 載据库操作系统两络、存储、侵务器图1体系架构整个项目的系统结构如下图所示：分销商业务数据接口模块商户后台模块风险控制模块压户结笊模块r由:飞I交易控制模块图2系统架构2.3. 系统功能设计2.3.1. 前置子系统231.1. 综合交易前置子系统包括的功能及组件：协议适配支持多种协议，如HTTP，WS等等格式校验根据配置的校验规则检验报文的格式格式转换对于外部的报文格式统一转为统一支付内部的统一消息模型2312文件前置子系统包括的功能及组件：对账文件上传上传文件至网状网、银行、天猫商城等文件服务器；获取对账文件从省移动，银行、天猫等文件服务器获取文件；任务调度该组件用于管理并执行系统定时任务；文件验签该组件用于文件内容进行验签；2313支付网关子系统包括的功能及组件：用户签约用户通过该功能与银行建立签约关系；支付扣款系统通过该功能通知银行从指定账户中扣款；2.3.2. 核心子系统包括的功能及组件：232.1. 消息收发该组件发送，监听前置发送到请求队列中的消息2322插件调度接收到的前置发送的消息后，根据业务编码调用不同的业务插件完成具体业务的处理2323 消息映射该组件映射统一消息模型到数据模型2324数据持久把映射后的数据存储到数据库中2.325.日志处理该组件负责把日志的内容打印到不同的日志文件中2326异步流水处理该组件负责把操作流水的数据存储到数据库中233.清结算子系统2.3.3.1. 调度管理子系统2.3.3.1.1. 流程管理流程管理主要包括任务定义和流程编排两个模块。任务定义主要负责定义原子任务以及该任务相关的所有公共参数。流程编排主要负责按具体的业务规则编排一系列的原子任务，并设置各原子任务的执行顺序及与该任务的特殊参数。2.3.3.1.2. 任务管理任务管理主要实现监控已调度的业务流程，任务列表页面上可以查看当前 任务的执行的状态，以及对出错的业务流程重做或接着异常点继续执行该流程 包含查询任务列表、重新执行该业务流、异常恢复。查询任务列表任务列表包括当前任务的详细信息：业务流程名、提交时间、执行时间、 任务状态等信息。其中任务状态包括：未启动、成功、失败、停止，对于正在 执行的任务的状态页面需异步刷新；操作栏中有启动、恢复操作。启动任务当一个运行中的任务由于业务约束或其它异常导致该任务失败后，可以在列表页中找到该任务并执行启动任务操作，该业务流程会被重新执行。恢复任务当一个运行中的任务由于业务约束或其它异常导致该任务失败后，可以在列表页中找到该任务并执行恢复任务操作，该业务流程执行中断点之后未完成 的原子任务。233.13计划任务管理计划任务主要是对某一个业务流程设置属性及业务规则，自动创建并执行该任务。该模块主要包含创建、编辑、删除、查询计划化任务。计划任务属性及业务规则：1、计划名称：文本框，由中文、字母、数字下划线组成，长度为64位；2、开始时间：时间控件，不能小于当前时间；3、过期时间：时间控件，不能小于当前时间；4、时间设置：单选框，枚举类型：执行一次、每几天执行、任务重复间隔。创建计划任务管理或运维人员通过后台管理页面输入计划任务属性，新建计划。调度引擎会定时检查计划任务，如达到计划任务指定时间，则该任务启动并执行。编写计划任务管理或运维人员可以编辑计划任务中的任一属性 。删除计划任务管理或运维人员可以删除某计划任务，非物理删除，标志删除。查询计划任务管理或运维人员可以通过输入开始时间、结束时间和计划名称查询符合上述要求的任务。233.14计算资源管理计算资源管理（或计算节点管理）主要负责管理各个计算资源的元数据。计算资源的元数据包括该组件标识、名称、版本号、包括IP、端口、服务地址、 状态、最大任务数、当前任务数等。计算资源元数据，包括如下属性：资源标识：资源的唯一编号资源名称：资源的名称版本号：资源版本号IP地址：组件所在服务器的IP地址端口 ：组件所在服务器的的端口接口地址:服务接口调用地址，如 http:/ip:port/spi/validate.do状态：组件实时运行状态，正常或宕机；最大任务数：组件最大并发任务数；当前任务数：组件当前共有多少任务在运行；2.3.3.1.5. 系统管理系统管理包括操作员管理、权限管理、参数配置和操作日志管理。2332调度引擎子系统23321.计划任务调度查询缓存或后台数据库计划任务数据，当该任务预设的时间到达后，立即调度 该任务。2.3322 计算资源管理负责集中管理并维护分布式计算节点信息，这些信息包括计算节点的状态（正 常或宕机）、当前任务数、最大任务数。节点可分配任务的规则：计算节点状态为正常，当前任务数小于该节点的最大任务数时，可分配任 务给该节点去执行。计算节点状态为正常，当前任务数等于或大于该节点的最大任务数时，任务将会等待，直到当前任务数小于该节点的最大任务数时，任务才可分配到该节点上去执行。计算节点状态为宕机，该节点不可用，任务不会分配到该节点上去执行。2.3323 流程实例管理管理并维护正在运行的流程实例整个生命周期，监控流程的启动、停止、完成、失败等事件，并针对相应的事件做相应的处理。23324.任务实例管理管理并维护正在运行的任务实例整个生命周期，监控任务的启动、停止、完成、失败等事件，并针对相应的事件做相应的处理。23325.调度策略管理根据集群中各计算节点处理能力，合理的安排任务到计算节点中去执行2.3326接口管理接口管理主要包含以下内容：服务器端接口：1. 任务回执接口 ：接收任务引擎执行消息2. 流程控制接口 ：接收调度管理系统发送过来的请求，完成对流程的启动、 停止、停止全部流程等管理控制工作客户端端接口：1. 任务调度接口 ：分发任务到任务引擎执行具体任务接口2. 心跳检测接口 ：定时去检测任务引擎是否存活3. 任务控制接口 ：停止任务引擎任务2333任务引擎子系统2.3.3.3.1. 任务队列管理负责对任务执行接口以及任务控制接口的报文消息缓存管理，实现消息异步处理23332.任务线程池管理对任务采用线程一一对应方式管理，实现任务实时的启动、暂时、停止的控制2.3333任务元数据管理对调度引擎发过来的流程ID以及任务ID查询任务参数表以及系统参数表，封装 成map，提供功能插件以及公共组件使用。23334.业务功能插件实现任务功能的实际业务向导处理（例如：先做那个子任务在做那个子任务），具体实现由公共组件完成。23335.公共组件对子任务的具体实现2.3336接口管理提供对任务执行接口、任务控制接口以及心跳回执接口的实现2334银商应用组件23341.银商对账银商对账主要包括以下几个功能：A. 预处理主要负责文件检测、文件备份、文件校验（文件名校验、文件头尾记录校验、记录级校验）、异步入库（Oracle、HDFS）、Hive建表。B. 文件比对采用Hive进行账单文件比对，主要包括其它应用系统账单文件、财富公司账单文件、以及统一支付账单文件的三方比对，并生成差异文件。C. 差异生成对已生成的生成差异文件进行合并D. 差异处理根据差异文件更新账单流水信息2.3.4.管理子系统2.3.4.1. 后台管理2.3.4.1.1. 我的首页个人信息修改密码234.12业务管理个人账号管理企业账号管理2.3.4.1.3. 结算管理单笔付款申请结算审批2.3.4.1.4. 风控管理账号黑名单规则管理2.3.4.1.5. 状态监控服务状态总揽风险监控操作日志2.3.4.1.6. 统计报表交易统计转账报表支付报表退货报表充值报表提现报表234.1.7. 系统管理系统菜单设置系统角色设置系统用户设置2342前台管理2.3.4.2.1. 账户管理客户信息234.22 交易管理对账文件查询与下载退款审核交易明细234.23 虚拟账户虚拟账户提现转账虚拟交易查询网上充值网上充值查询交易明细23424.系统管理证书安装密码管理3. 系统设计原则对支付服务平台而言，系统整体安全的重要性是不言而喻的 。因此，在系 统规划和设计时，在技术和产品选择时，应将安全性放在首位予以考虑，并尽 量遵循国际标准、国家标准、行业标准或行业惯例。为了实现上述安全目标，在对乐视系统平台安全体系的设计中，在乐视系 统平台的建设中，乐视公司投入大量的人力、物力、财力，从制定周密的信息 系统安全策略开始，加强管理和监督，制定严密的灾难恢复体系和管理制度 ， 不断进行改进和完善。乐视系统平台信息安全体系遵循如下原则。需求、风险、代价平衡分析的原则网络系统中没有绝对的安全，需通过安全风险分析，从系统建设需求、安 全风险、安全投入、收益等方面找到平衡点，来规划安全体系。在考虑安全性 的同时，需要平衡安全和成本、安全和效率、安全和方便性之间的矛盾。多重保护的原则（全局防御的原则）任何安全保护措施都不是绝对安全的，都可能被攻破。但是建立一个多重 保护系统，各重保护相互补充，当一重保护被攻破时，其它重保护仍可保护信 息的安全。多层次（网络OSI参考模型中的逻辑层次）保护的原则安全体系的规划应贯穿 OSI参考模型的各个层次，如在链路层和网络层实 施包过滤，在表示层实施加密传送，在应用层设置专用程序代码、运行应用层 审计软件，在应用层之上启动代理服务等。网络分段的原则（物理和逻辑）网络分段是保证安全的重要措施。网络分段可分为物理分段和逻辑分段 。 网络可从物理上分为若干段，即通过交换器连接各段。对于TCP/IP可进行逻辑 分段，即把网络分成若干IP子网，各子网通过路由器连接，并在路由器上建立 可访问表，来控制各子网间的访问。设多个安全单元的原则把整个网络的安全性赋予多个安全单元，如路由器、屏蔽子网、网关，形成了多道安全防线。易操作、灵活性的原则（安全措施由人完成）安全措施与网络的灵活性是一对矛盾，安全体系的规划应以不影响系统的 正常运转和易操作、灵活性为前提。最小授权的原则（分散权力，降低灾难程度）特权（超级）网络要有制约措施，分散过大的集中权力，以降低灾难程 度。综合性原则（设备技术 策略 管理）计算机网络系统的安全应从物理上、技术上、管理制度（如安全操作乃至计算 机病毒的防范等）上以及安全教育上全面采取措施，相互弥补和完善，尽可能 地排除安全漏洞。4. 网络拓扑图系统的网络拓扑图如下所示：防火墙 （国外品牌）web-sw-A防火墙 （国内品牌）internet-fw-O1 internet- w-02INT-TEL-RT01 INT-CNC-RT01Internet通电,服务区互联网接入区0心跳线APP-FW-01APP-FW-02以太网Internet交换机app-sw-B磁带机光纤.交换机数据库服务器（HA负载均衡器（集群）应用服务器应用服务器fc-sw-01fc-sw-02金融数字加密机1金融数字加密机2磁盘阵列千兆以太网交换机应用数据库服务区防火墙外品牌）（国外品牌）心跳线APP-FW-03 APP-SW-04IDS感应器QMonitor-fwqz-sw-Aqz-sw-B前置服务区monitor-rt-A监控专线接入区O 负载均衡器（集群）前置服务器bank-专线接入区BANK-RT-BBANK-RT-A业务操作终端外联机构业务系统cwS5监控终端图3网络拓扑图$Internet-fw5. 系统部署5.1. 系统运行环境系统运行平台如下：操作系统：Lin ux数据库：Oracle 10G中间件：WebLogic主机服务器：IBM pcserver存储：磁阵52数据管理涉及在线数据保存与历史数据备份，文件系统和数据库都通过 IBM Tivoli 软件再备份到IBM TSM3310磁盘库。为了提高数据库恢复的效率，备份路径都 指定为硬盘，硬盘上的备份数据至少保留 7天才能删除，即一个数据库全备的 周期。5.3. 文件系统管理5.3.1. 文件系统空间管理策略文件系统随着业务处理空间使用会不断增长，需要定期清理不使用空间，为业 务处理腾出空间。文件系统清理包括：1）操作系统清理目录，包括/var等。2）业务系统运行临时目录。3）业务系统运行日志目录。文件系统中与业务有关的清理，参考目前生产配置，确定空间管理策略，总体 策略如下：1）日志备份。a）超过200M日志文件需要备份。b）应用日志保存7天。2）业务文件a）上下发文件，根据不同业务保存时间7-140天不等。b）其他接口文件。根据不同业务类型进行具体制定。5.3.2. 文件系统归档备份策略文件系统需要进行定期归档备份，包括操作系统备份和业务文件系统备份。1）操作系统备份参考目前生产系统备份策略，每周就进行全备，备份归档目录包括/、/var、/usr、home、/opt 等。2）业务文件系统备份参考目前生产系统备份策略，进行每周全备、每天增量备份，备份目录包括任 何业务系统认为有必要备份的目录，典型的目录类型如下：（1）应用程序目录(2)应用配置目录归档目录(4)业务运行的关键目录5.4. 数据库管理5.4.1. 数据库文件系统空间管理策略文件系统随着业务处理空间使用会不断增长，需要定期清理不使用空间，为业 务处理腾出空间。文件系统清理包括：1) 操作系统清理目录，包括/var等。2) 数据库trace文件目录，包括oracle和grid用户ORACLE_BASE下diag产 生的dump和trace文件。5.4.2. 数据库存储空间估算以每个月5亿笔的交易量测算以下存储的空间】交易核心数据(前线库Oracle保留30天的数据)存储空间(12288G 12T)Oracle数据文件=每个月5亿笔交易* 12条数据* 1K (包含索引文件)=6144GOracle日志文件= =6144G清结算后线库Oracle数据库(2793G+3352G 6T)流水数据文件=每个月5亿笔交易*平均每笔数据大小500B * 3 （三方流水）* 4个月 =2793 G结果数据文件=每个月5亿笔交易*平均每笔数据大小300B * 24个月 = 3352 G5.4.3. 数据库空间管理策略数据库在业务系统投入使用后，会随着业务数据量增长而容量进行增长。因此，在数据库的日常运维中，监控数据库的空间是一项非常重要的内容。1） 分区增长，对于采用日期分区的，随着时间增长进行分区的滚动创建。2） 数据库存储空间增长。需对投入使用的数据库进行空间使用率监控，在 高于特定使用率时，需提前通知平台工程师进行空间扩容。具体数据库表管理策略与具体数据表数据存储周期相关，在具体业务概要设计中确定。5.4.4. 数据库备份策略数据库的备份，我们使用数据库备份和数据表备份的策略进行。每周日进行数据库的全库备份，其它日期进行数据库的日志备份。为了避免日志溢出， 我们在每天成功备份日志后，并确认无误后。即删除数据库服务器中对应的日 志。前线库Oracle :使用rman脚本定时将数据库备份到本地硬盘，备份数据库 和日志归档文件，日志备份完毕删除归档，冗余策略为2,即本地保存两个完 整备份集。后线库Oracle :为了实现数据库备份的自动化，我们可以使用Oracle ASE 提供的Job Schedule工作计划功能，定制指定时间指定的备份作业，可以沿用 一期备份策略。为了提高数据库恢复的效率，备份路径都指定为硬盘，硬盘上的备份数据至少保留7天才能删除，即一个数据库全备的周期。数据库备份成功后，通过 IBM Tivoli软件将备份结果从文件系统备份到IBM TSM3310磁盘库。备份类型频率备份时间说明数据库全备1次/周周日，2点前线库Oracle和后线库Oracle备 份到本地硬盘， 次日凌晨再备份 到磁带库。数据库日志备份 6次/周周1到周6，每天 备份到本地硬2点盘，次日凌晨再备份到磁带库对于一些重要的数据表，使用bcp导出明文文件的方式，将数据以表的方式备 份出来。6. 信息类别及处理原则6.1. 业务分级处理根据业务风险程度，把支付交易分成若干级别，采用不同的安全控制手段来控制业务的安全性。下面定义了若干级风险，风险系数依次越来越大：序号风险度描述0无风险如信息服务等交易1普通风险如账户查询等2二级风险客户内部账户转帐等3三级风险客户网上充值等业务4四级风险客户约定账户支付5五级风险网上支付，如B2B和B2C等6六级风险委托支付62数据分级保护系统中涉及商业秘密的数据具体见表数据类别密级保密期限客户信息商业机密长期客户账户信息商业机密长期与客户签定的业务协议商业机密长期客户业务信息商业机密长期客户密码信息商业绝密长期针对这些数据我们建议采用不同的安全保护措施：1、商业机密数据，采用明文存储，密文传输，并施加数据对象级的访问控 制；2、商业绝密数据，采用密文存储和密文传输。7. 7.应用层安全设计应用层安全是乐视系统平台安全体系中的重要组成部分 ，主要包括：身份 认证、访问控制、业务安全管理、业务审计、异常业务监控、数据安全以及数 据完整性、不可否认性等内容。7.1. 身份认证乐视系统平台在用户登录或关键交易处理时使用一种或多种身份认证方式 包括用户名/静态口令、图形验证码、数字证书等。静态口令认证用户名/静态口令是最容易被接受、也最广泛使用的身份认证手段，乐视系 统平台使用用户名/静态口令进行身份认证。口令质量策略：1、口令的复杂性必须满足同时包含字母和数字 ；2、口令的长度必须不小于6位；3、首次登录强制性要求用户修改初始密码。账号锁定策略：1、一天内口令多次认证失败，自动锁定用户；2、账号锁定后，隔天自动解锁或人工解锁；图形验证码图形验证码是防止暴力破解密码攻击的有效手段，乐视系统平台提供图形 验证码的辅助用户身份认证。数字证书认证乐视系统平台采取中国金融认证中心的数字证书，将证书存储于USB Key， 证书与用户绑定，对企业用户、内部操作员提供必要的双因子强身份认证。72访问控制乐视系统平台对系统资源、应用功能、数据资源进行严格的授权管理和访 问控制：1、 系统提供基于角色的应用软件功能的访问控制，包括角色定义，角色的 权限管理，用户的角色管理。2、 系统提供基于角色和组织机构的数据对象的访问控制能力。3、用户权限的分配遵循最小特权的原则。4、提供系统资源（文件、URL）级别的访问授权控制手段供应链网络支付系统对用户进行角色管理 ，包括业务管理岗、业务处理岗、 资金管理岗、商务岗等，不同的角色分配不同的权限。73数据加密乐视系统平台在数据的传输、存储中，采取了必要的加密措施。对商业机密数据，采用明文存储，密文传输，并施加数据对象级的访问控 制；对商业绝密数据，采用密文存储和密文传输。传输安全所有的涉密信息在公网必须以密文的形式传输。乐视系统平台使用128位 SSL协议或VPN技术，对用户与服务器之间、第三方与乐视之间的数据传递进 行加密保护，使用安全控件技术对用户在客户端浏览器输入的口令进行增强加 密保护。存储安全乐视系统平台的用户身份信息使用数据库存储，静态口令作为商业绝密数据，在数据库中用单向散列算法加密存储，防止反向解密攻击。7.4. 数据完整性和不可否认性SSL技术在保障信息加密传输的同时，提供数据完整性的保护。对关键业 务操作，使用存储于USB Key的数字证书进行数字签名，在强身份认证的同时， 实现数据完整性和不可否认性。7.5 .代码安全在登录功能上做了防止SQL以及JS注入式攻击处理，用包含特殊字符的字 符串无法登录系统，防止有人通过注入SQL语句等手段恶意登陆网站获取机密 数据，极大的提高了系统安全性。在提交表单上做了安全设置，防止提交JS以及一些非法字符，进行恶意攻 击的情况，同时在每个提交表单上，根据所提交内容不同，通过JS以及正则表 达式等手段进行验证，屏蔽掉一些非法可疑的输入，保证了输入信息的可靠性 完整性。76异常监控乐视系统平台建立了应用监控系统 ，运行人员可实时了解应用系统运行状 况，当异常发生时，监控系统会通过电子邮件、手机短信等各种方式提示运行 人员。7.7. 业务安全管理业务安全性是乐视系统平台安全的重点，业务的安全管理规则主要有以下 方面：客户业务权限检查为了保证业务的安全性，客户在进行业务操作时，有业务权限检查、支付限额 检查、日支付限额检查等多种控制措施。定向支付乐视系统平台的对外资金结算账户是有确定范围的，可以有效控制业务风险。复核机制供应链网络支付系统通过多个不同岗位角色进行复核制约，防范业务风险 客户支付账户由业务管理岗设置，客户提出支付申请，需要经业务处理岗生成 确认单、商务岗发确认单、客户回传确认单后，经财务授权人签批，资金管理 岗核对后，才能进行资金的支付结算。7.8. 审计跟踪审计跟踪是指乐视系统平台生成、记录、存储和分析与应用用户有关的安全活动信息。应用层审计跟踪可以分为四类，包括：1、应用核心安全事件的审计；2、应用访问的审计跟踪；3、应用业务交易相关的审计跟踪；4、应用错误或调试日志信息。业务事件的审计跟踪业务事件的审计是强制的，不可关闭的，包括对下列可审计事件生成审计跟踪记录：1、用户身份信息的创建、修改、删除；2、用户认证信息的修改；3、用户使用身份认证机制；4、应用业务流程和配置的变更；5、用户对业务操作的处理。对每一个可审计事件，其审计记录包括：1、序号；2、日期和时间;3、事件类型；4、主体身份;5、请求的源IP地址；6、事件结果（成功/失败）；7、客体的前映像和后映像；& 数据鉴别码（SHA-1 ）。业务事件的审计跟踪存放在数据库中。审计跟踪在线保存时间至少60天， 备份保存时间为长期。应用访问的审计跟踪应用访问的审计跟踪使用 Web服务器的访问日志代替，可以记录时间、源 IP地址、访问的URL等信息。应用错误或调试日志信息乐视系统平台系统自动维护应用的错误和调试日志，并可以根据日志的级别设置来启用相应的日志。错误和调试日志采用文本文件存放在应用系统的日 志目录中。日志文件应该设置严格的访问控制权限 ，只允许系统管理员访问。 系统可以定义日志文件的容量大小，当超过该容量时就创建一个新的文件。