通关无纸化电子随附单据数据存储方案(方案计划书)

通关无纸化电子随附单据数据存储方案目录第一章前言4第二章现状与问题分析42.1.现状分析42.1.1.信息中心42.1.2.数据中心72.2.试运行情况102.2.1.信息中心102.2.2.1存储102.2.2.2网络102.2.2.数据中心112.2.2.1存储112.2.2.2网络112.3.问题分析122.3.1.信息中心面临的问题122.3.2.数据中心面临的问题132.3.3.直属海关面临的问题13第三章需求分析143.1.业务需求143.1.1.数据存留143.1.2.存储容量143.1.3.读写I/O分析153.1.4.磁盘并发数分析153.2.开发需求153.2.1.接口需求153.2.2.迁移改造需求153.3.运维需求163.3.1.管理工具163.3.2.生命周期管理163.3.3.监控工具集成163.3.4.设备扩展性163.3.5.业务连续性173.3.6.复制迁移173.3.7.数据备份173.3.8.数据质量173.3.9.数据安全173.3.10.机房环境需求173.3.11.技能需求173.3.12.升级支持173.3.13.售后服务支持水平183.4.设备安全需求183.5.数据安全需求183.6.网络需求183.6.1.网络背景流量183.6.2.无纸化报关传输流量193.6.3.无纸化调阅流量213.6.4.高清无纸化报关传输流量223.7.其它需求233.7.1.成本233.7.2.产品成熟度23第四章规划总体结构234.1.方案一：集中存放模式234.1.1.总体结构图234.1.2.优点254.1.3.缺点264.1.4.网络估算264.1.5.工作量估算314.2.方案二：分布存放模式324.2.1.总体结构图324.2.2.优点344.2.3.缺点344.2.4.网络估算354.2.5.工作量估算364.3.方案三：集中+分布存放模式374.3.1.模式1：准实时下发模式374.3.2.模式2：分时下发模式434.3.3.模式3：非下发模式464.4.倾向性建议504.5.运维管理514.5.1.备份管理514.5.2.数据同步524.5.3.容灾切换524.6.数据管理52第五章可行性存储方案及分析535.1.方案一：可横向扩展的集群式NAS系统535.1.1.简介535.1.2.方案架构图535.1.3.特性545.1.4.方案分析IBM SONAS555.1.5.方案分析EMC Isilon565.2.方案二：成熟型内容管理路线575.2.1.简介575.2.2.方案架构图575.2.3.特性575.2.4.方案分析IBM ECM585.2.5.方案分析Oracle WebCenter Content595.2.6.方案分析EMC Documentum595.3.方案三: 分布式存储+计算605.3.1.简介605.3.2.方案架构图615.3.3.特性615.3.4.方案分析EMC MapR625.3.5.方案分析天云科技 Hadoop635.3.6.方案分析Intel Hadoop645.4.方案利弊对比665.5.倾向性方案67第一章 前言通关作业无纸化改革试点是2012年全国海关关长会议确定的重点工作。根据监管司 海关通关作业无纸化改革实施方案（试行）要求确定的改革实施步骤，于2012年8月，第一期选定12个海关的不同种类的业务类型进行试点、2013年将进一步深化通关无纸化作业改革试点、 2014年将深入推进并将于2015年在全国海关全面推广实施。根据上面的业务改革实施步骤，第一期试点的设计的文件存储系统将无法满足进一步的业务需求，需要建立能支撑通关无纸化业务改革在全国海关全面推广实施后的通关无纸化电子随附单据电子数据存储系统。本方案是在科技司牵头下，信息中心、数据中心、上海海关成立专题工作组，对今后存储、网络等需求进行综合评估，并对业界相关的技术和产品进行调研，初步形成的电子随附单据数据存储方案，本方案的实施将为今后通关无纸化全面推广提供基础的技术支撑。第二章 现状与问题分析2.1. 现状分析2.1.1. 信息中心2.1.1.1. 文件系统文件系统结构如下：整个文件系统分元数据的存储、非结构化数据文件存储、和对文件系统的访问三部分，其中元数据是结构化数据（包括服务器的配置信息和非结构化数据文件信息），放入到Oracle数据库中，非结构化数据文件放入文件服务器中，其中文件服务器是用EMC VMAXe的硬件存储。H2010客户端需要调阅随附单据时，对文件系统进行访问。实现上是由H2010客户端通过中间层服务器发送请求，中间层向客户端返回文件地址和时间戳，客户端对以上信息及用户信息、请求IP加签，向缓冲文件服务器发送文件请求。缓冲文件服务器和总署级文件服务器上，设立WEB站点，接收文件请求。收到文件请求后，先对请求的内容进行验证，如果能够通过验证且在时间戳后的有效时间内，将对请求内容进行响应。首先，缓冲文件服务器检索本服务器是否有相应的文件，如果没有，则进一步向上级（总署级）文件服务器发送请求，将获得的文件在缓冲文件服务器缓冲，并返回给请求方。对于非业务量大的海关， 客户端向中间层服务器发送请求，由中间层服务器直接向总署Web服务器发送请求文件，并返回给客户端。2.1.1.2. 设备列表硬件名称硬件配置数量软件及版本说明存储EMC VMAXe可用容量10.7TB1文件服务器CPU：4路8核内存：64GB2OS：Windows2008R2 64位Cluster信息中心可扩展（整组增加）WEB服务器CPU ：4路8核内存：64GB2OS：Windows2008R2 64位NLB信息中心可扩展MQ服务器CPU：4路4核内存：8GB2OS：Windows2008R2 64位IBMMQ 7.0Cluster信息中心不可扩展，但能按通道拆分ESB数据库服务器CPU：4路4核内存：32GB2OS：Windows2008R2 64位Cluster信息中心不可扩展ESB应用服务器虚机 CPU：4核内存：16GB2OS：Windows2008R2 64位NLB信息中心可扩展ESB Biztalk服务器CPU ：4路8核内存：64GB2OS：Windows2008R2 64位Group信息中心可扩展2.1.2. 数据中心2.1.2.1. 存储2.1.2.1.1. 部署结构目前无纸通关项目中上传服务器在德胜和亦庄两个机房都有部署，但数据库和后台程序只在亦庄机房有部署，拓扑如下：2.1.2.1.2. 设备列表硬件名称硬件配置数量软件及版本说明上传服务器CPU：2.8G*4内存：8G硬盘：80G8Os：linux64位 中标麒麟5.4内核版本2.6.18-164Weblogic10Jdk1.6亦庄4台、德胜4台随附单证MQ服务器IBM 750平台CPU ：8个内存16G本地盘：120G2Os：AIX6.1.0.6-sp8MQ：ibmmq6.0部署在亦庄NFS SERVERIBM 5608CPU32G内存2OS：AIX5.3.0.11-sp10 部署在亦庄，其中一台为冷备机存储IBM-DS8300,存储容量10T1部署在亦庄传输用加密机Sjy362OS: linux部署在亦庄2.1.2.2. 网络目前数据中心为两地三中心的网络结构，北京、上海为三个核心机房的所在地，其中北京为同城主备两个机房，上海为异地容灾机房。各个分中心都是双线上联至数据中心，北方十省的分中心采用联通、电信各一条线路的方式连接到北京同城主备两个机房，南方的分中心使用双电信线路，一条连接到北京，另一条连接到上海。绝大部分情况下每个分中心上联数据中心的带宽都是2M，南方的分中心主用至主运行机房的电信线路，北方十省的分中心通常主用至同城备份机房的联通线路。为了确保无纸化通关项目的顺利进行，数据中心计划将南京、拱北、杭州、北京、天津、福州等6个试点分中心上联至数据中心主用线路的带宽扩容至10M。数据中心的同城主备机房与H2010系统的北京、广东节点都有互联，除今年7月将主运行机房与H2010系统北京节点（金宝街）的互联线路升级到为100M裸光纤外，所有与H2010互联的线路都是4M SDH专线。2.1.2.2.1. NFS Server设计2.1.2.1.1. SAN结构NFS服务器采用两台IBM 小型机P560,两台服务器互为主备关系，需要手工切换，存储采用IBM DS8300，可用空间10TB，另外新采购EMC存储一台，裸容量为80T，可在后期数据量上升时挂载到NFS服务器上。拓扑结构如下： 2.1.2.1.2. 文件系统设计NFS Server文件系统上传服务器挂载点备注/shanghai(1TB)/shenzhen(1TB)/nanjing(1TB)/huangpu(1TB)/other(1TB)/edoc/2200/edoc/5300/edoc/2300/edoc/5200/edoc先期每个文件系统预分配空间1TB2.2. 试运行情况2.2.1. 信息中心2.2.2.1 存储截至到12月7日24时，通关无纸化项目自上线以来，系统运行基本正常。总共申报通关无纸化报关单253840份，随附单据（pdf文件）共518789个，存储占用约47G（47417M），存储相关的磁盘读写I/O、文件服务器及WEB服务器CPU、内存资源空闲。2.2.2.2 网络在无纸化通关项目试运行的20几天中，全国海关骨干网运行情况较为良好。取试点前一个普通工作日（2月28日）的上午10:00至11:00业务高峰期一小时流量平均值，再取试点最近一个月（11月13日日至12月13日）中每天上午10:00至11:00业务高峰期流量最大一天的一小时流量平均值，得到的对比表如下，从整体上看，试点海关的线路流量增长不明显，骨干网目前带宽现状可以承载试点应用的流量。单次样本具有随机性，不可简单直接相减计算差值，仅用于概要反映整体变化情况。关区名称运行网带宽M试点上线前流量M试点上线后流量M1北京关区期间由2M扩容至8M1.53.042天津关区期间由4M扩容至8M3.92.643上海海关2011.4114南京海关65.64.45杭州关区21.31.16宁波关区61.24.087福州关区21.51.48青岛海关42.53.49广州海关42.12.510黄埔关区64.83.1811深圳海关期间由8M扩容至30M4.16.912拱北关区期间由2M扩容至4M1.62.52.2.2. 数据中心2.2.2.1 存储截至到12月5日，无通关项目自上线以来，系统运行基本正常。存储占用43630M，存储相关的磁盘读写I/O及NFS服务器CPU、内存资源空闲。2.2.2.2 网络在无纸化通关项目试运行的19周中，数据中心网络系统运行非常稳定，试点分中心的线路虽然还未完成扩容，但由于随附单据的业务量不大，因此原带宽目前还能够满足业务需求。截至到12月5日，带宽最大利用率在50%以上，80%以下的有南京、北京，其他分中心均在50%以下。骨干网目前带宽现状可以承载试点应用的流量。截至到12月5日，累计申报的通关无纸化项目报关单数量270899份，累计随附单据文件511674个（其中已发往海关的随附单据文件484133个）。2.3. 问题分析2.3.1. 信息中心面临的问题2.3.1.1. 存储 信息中心所使用的存储，是在现有设备中，通过与其他项目调剂出的10.7TB可用存储，存储设备为EMC VMAXe。这些存储与根据报关单量估计的每年30TB数据的所需存储容量相距甚远，现有存储容量远远不能满足实际需要。 现有非结构化数据，没有专门的备份设备。当数据量随着业务试点的深入迅速膨胀时，无法对非结构化数据进行备份，致使硬件故障后，可能引发数据丢失。 现有非结构化数据，只在总署信息中心部署，在广东分中心没有进行容灾备份。当总署节点出现故障无法使用时，将导致通关无纸化系统无法使用。 通关无纸化改革试点期间，为保证项目进度，在Windows的NTFS文件管理系统基础上，由信息中心自行开发了文件管理、元数据管理的功能。使用操作系统自身的文件系统，在文件存储容量、数量方面都存在限制，无法满足实际业务量的需要。2.3.1.2. 网络根据前期网络测试和通关无纸化试运行的网络监控情况和对业务量的预测上，需要对部分直属关与总署和信息中心与广东分中心之间的网络进行扩容。2.3.1.3. 运维管理 现有对非结构化数据的管理模块，尚无远程同步的功能，无法实现与分中心的容灾，在双中心运行切换、故障切换时，无法快速、无差异的完成非结构化数据管理的无缝切换。 现有对非结构化数据的访问，主要通过WEB站点对文件服务器的共享目录进行访问，没有相应的用户管理和权限管理。2.3.1.4. 数据管理 现有对非结构化数据的管理模块，尚无数据生命周期管理的功能，虽然在通关无纸化改革系统实施方案中有所设计，但是还没有功能实现。 非结构化数据质量没有现成完善的保障方案。 非结构化数据的安全需要重新考虑，包括存取控制、访问权限、防控数据泄露等。2.3.2. 数据中心面临的问题2.3.2.1. 存储 现有存储空间容量不能满足业务增长的需要； 随着数据量的增加，操作系统自身文件系统管理海量数据文件能力较弱； 目前只有亦庄有随附单证的存储和传输服务器，德胜没有，存在同城无备份的情况； 共享文件缺乏统一用户管理； 分中心的网络接入改造和同城网络改造可能延期，如上线压力大，可能影响目前系统运行； 现有存储方案生命周期管理能力较弱，需要较多手工操作； NFS服务器无法保证高可用性，发生故障时需手工切换； 利用小型机作NFS服务器，SAN存储作为非结构化数据存储成本较高，扩展性较差，应对高并发访问的能力弱； 常规的NFS文件系统的最大容量和最大文件数有限，可能无法满足业务要求。2.3.2.2. 网络目前除与H2010系统互联的带宽完成升级工作外，试点分中心及数据中心部分网络的带宽升级工作还在进行中，因此需要在业务量还未有明显变化时尽快完成所有的带宽升级工作。除此之外网络的高可用、高可靠、可扩展等方面性能在H2010项目中已得到充分的完善。2.3.3. 直属海关面临的问题目前集中模式下，地方海关在将非结构化数据上传的过程中，占用了较多的网络信道资源。同时此类数据在总署数据中心和信息中心分为两套存放，也占据了海量的存储资源。海关的现场关员在审单过程中均需调用总署端集中数据库里的非结构化数据，当此类业务操作被频繁提交时，将会再次占用直属海关到总署的网络信道资源和总署端的硬件资源（包括主机的CPU、内存和磁盘）。地方海关在非结构数据文件不下发时，一些独立于H2010之外的统计分析类项目无法直接访问总署的非结构化数据文件，造成一些具有地方特色的应用需求无法得到满足。第三章 需求分析3.1. 业务需求3.1.1. 数据存留信息中心基于如下考虑应保存一份数据：1. 如果只在数据中心存一份，则这个库既要负担外网的并发写，又要负担内网的并发读，压力很大，不如分散压力。2. H2010是一级运维项目，基于容灾的考虑，也应该在内网广东分中心存一份数据。3. 信息中心和数据中心目前网络上只有MQ的通道，无法做到直接存取。4. 在存储设计时信息中心会将保障级别较高运行库尽量做小，历史数据将用廉价设备存储，因此在投资商并不大，相比较分布式存储反倒更便宜。5. 关里除通关外其它系统也有调阅随附单据的需求，都从数据中心取，在性能上、网络上不一定满足。直属海关在随附单证非结构数据文件下发后，为结构性通关模式改革提供实现基础,为二次申报等改革奠定必要条件。分布存放模式可为结构性的通关模式改革提供实现基础，使报关单电子数据的传输、审核、放行与随附单证的传输、审核分离成为可能。实现“逐票电子放行，汇总计征税费（量和时间上汇总、空间集中）、批量复核”模式，分离传输可改变以往海关需在狭小时空内完成复杂任务的困境，拓宽时空，提高有效性。目前海关已有的决策支持类系统如海关廉政预警系统（HL2008）、批量复审系统、归类综合管理系统等，其分析的对象主要还是结构化的通关类电子数据。而随附单证电子化后的非结构化数据如果下发到各直属关，就可以满足各业务部门在分析结构化数据后对于相关原始纸质单证的调阅和分析需求，从而加强执法监控。此外，下一步随着OCR软件在海关随附单证领域的应用，也可以更加充分挖掘纸质单证资源的潜力。现有问题主要是各关的随附单证基本还是以纸质方式存放，即占用大量场地资源又无法方便查询调阅，且时间长了之后极易损坏，而采用了分布式存储方案可以有效解决此次问题。请上海海关补充本地存留无纸化单证并进行业务创新的一些需求。3.1.2. 存储容量根据测试，按照目前对普通无纸化单证存档时对于随附单证的要求（即非高清HD随附单证），各分辨率下的文件大小如下。目前，采用的是格式2200DPI方式。文件尺寸单位（字节）扫描分辨率23页文件BMP图像尺寸PDF格式文件尺寸压缩比100DPI2,797,674375,0167.461200DPI11,186,418964,86711.591300DPI25,174,8341,856,41413.561单票报关单随附单证大小的估算方法如下：根据试点数据，在满足数据中心随附单证规格要求的情况下，平均随附单证尺寸87K（Byte, 最大8M，最小6K），单票报关单平均随附单证数量2.7-2.4份（目前有部分随附单证未列入试点）。为了简化，数据量估算时考虑将单个随附单证大小以100K Byte计，平均每份报关单随附单证数量以5份计（试点量的2倍），每日峰值工作时间为2小时。相应的，存储计算中，单份报关单的随附单证以500KB计；网络计算中，单份报关单的随附单证带宽占用以5Mb/s计。据统计，2011年的报关单数量约为5900万份，20122013年报关单数量预计超过6000万份。以单份报关单包含5份随附单据且单份随附单据平均大小为100KB计算，预计2013年报关单将达到6300万份，信息中心年每年需要可用存储30TB；数据中心加上一定的冗余数，年数据增长量约为47TB。3.1.3. 读写I/O分析结合存储容量分析，每年产生的数据量约为3亿个文件，按照每年220天工作日计算，则每天产生的数据数量为136万个文件，既每日产生的交易量为136万，忙时处理能力是按照每日交易量的80%在3个小时内完成，每星期五是一周内的高峰，是平均的1.5倍，即峰值为每秒钟136万*80%*1.5 / 3 / 3600=152个文件，I/O处理能力为152*100KB=14.8MB/s。 3.1.4. 磁盘并发数分析 结合I/O分析，峰值时服务器请求平均为每秒152个文件。根据压力测试时获取的系统I/O事务数据计算，峰值的I/O请求约为5679次每秒（IOPS）。3.2. 开发需求3.2.1. 接口需求存储数据访问方式应做到尽量标准、通用、简单。例如：NFS、和HDFS等。3.2.2. 迁移改造需求所选方案若涉及程序迁移改造，方案应提供程序改造时所需的SDK，且改造时元数据管理和非结构化数据迁移影响程度应尽量降低。3.3. 运维需求3.3.1. 管理工具提供便于系统工程师维护和管理系统的操作界面、并提供日常故障诊断工具。3.3.2. 生命周期管理项目要考虑到分级存储的需求，保证业务在数据增长符合业务发展需求同时，在运维数据管理上，可根据管理和维护的需求，使用管理工具定义相应的数据维护规则，可将数据自动或手动迁移到磁带或其他低成本介质设备进行保存，当需要调取该文件时应用可以自动从介质中获取。随附单据生命周期特征随报关单变化：信息中心可分为：在线期：使用高速存储介质（例如：SAS），建议1年内数据或只存储未理单的报关单对应的随附单据数据；近线期：使用低速存储介质（例如：SATA），建议1-5年数据；离线期：使用离线存储介质（例如：磁带库），建议5年以上数据。数据中心可分为：在线期：个月，使用高速存储介质（例如：SAS）近线期：12个月，使用低速存储介质（例如：SATA）离线期：12个月以后，使用离线存储介质（例如：磁带库）根据通关无纸化业务任务书制定的报关单证保存期限：一般的报关单证（备案号为空，备案号为以“Z”开头且监管方式为“4019边境小额贸易”）保存年限为3年；备案号为以“D”、“Z”（监管方式为“4019边境小额贸易”除外）、“H*D”开头的报关单证保存年限为11年；除前面两种情况之外的报关单证保存年限为5年。对满足这些条件的报关单所对应的随附单据文件数据进行销毁处理。3.3.3. 监控工具集成能够使用信息中心和数据中心现有的监控管理软件（例如MS System Center,BMC监控工具）进行监控，或可以提供相应的接口，将数据定义成监控工具可以调用的模式。监控中要提供包括硬件故障报警，故障诊断，故障定位，性能报告等功能。3.3.4. 设备扩展性设备满足非结构化数据每年信息中心每年约30T和数据中心每年约47T和容量的需要同时，在业务数据增加同时，集群内的容量可以平滑扩容，性能上也可以根据需求在线横向扩展。3.3.5. 业务连续性系统不存在单点故障，对主要部件进行冗余设计，机器可以动态上线，可在线进行更换。3.3.6. 复制迁移系统可提供同城机房间的文件在线实时复制以及文件迁移功能。3.3.7. 数据备份1. 基于成本和容灾的考虑，信息中心会将运行库做小做精，过期的数据放到保障级别较低的归档库中。2. 在各集中存储的方案中，为各关增配本地缓存服务器，提高读取效率、节省带宽。3. 存储设备支持数据文件不经过主机，直接备份到磁带上。3.3.8. 数据质量 对内外网MQ、ESB系统数据传输的及时性进行监控，对数据积压和丢失等故障及时发现和处理。对非结构化数据与结构化数据的一致性进行比对，并对缺失、多余、不一致数据进行补处理。3.3.9. 数据安全建立非结构化数据的身份认证和存取控制机制，防止非法数据访问。对元数据中的敏感信息进行加密传输，防止数据泄漏。保存对数据的操作日志，以便问题分析和审计。3.3.10. 机房环境需求机房可提供双路220V，380V电源，地板称重每平方米不超过800千克/平方米，机柜高度不超过2米，机房提供空调为侧送风和下送风 。3.3.11. 技能需求硬件和软件操作不应过于复杂繁琐，应尽量符合业界同类产品操作。3.3.12. 升级支持及时提供漏洞补丁。3.3.13. 售后服务支持水平硬件和软件的保证级别为7*24，响应要求为1小时内响应，2内小时解决故障，有充足的备件。提供完整的售后服务和技术支持，且对中心运维人员有定期的系统性培训支持。3.4. 设备安全需求提供设备要具备可监控，可管理，可审计，提供的操作系统要能够根据系统安全分析结果，进行操作漏洞进行相应的安全整改,如无法整改的部分,需提供出相应的解决方案。3.5. 数据安全需求非结构化数据的安全需求包括存取控制、访问权限、防控数据泄露等3.6. 网络需求需要保证试点分中心到数据中心、互联网企业到数据中心以及数据中心到信息中心的互联带宽能够满足流量增大后的需求，且中间经过各种网络设备的处理及转发性能也完全可以支持业务量增大后对系统资源的要求。网络基准流量的估算方法如下：3.6.1. 网络背景流量信息中心网络部根据目前流量状况测算了基础的背景流量，测算方法为：在一个月内随机选取五个工作日，对这五天每个海关早10：00至11：00的流量进行统计，算出一小时平均值，再用此值为基础按每年带宽增长5%计算出五年后的带宽值，此数值即为各海关的背景流量。（与后面章节中网络整体估算方法保持一致）关区带宽（M）背景流量（M）背景流量带宽利用率（%）大连21.8492.21%青岛43.6891.89%南京64.7378.81%上海2013.0265.09%黄埔63.3956.48%广州42.2556.16%杭州21.1055.20%宁波42.2054.88%拱北41.9147.86%厦门41.8846.90%天津82.9637.01%重庆20.6431.91%北京82.2728.40%成都20.5226.16%深圳307.6625.53%福州20.4924.57%江门20.4723.61%广东分中心458.4718.83%南宁20.3818.83%武汉20.3818.83%汕头20.3718.51%昆明20.3618.19%长沙20.2613.08%哈尔滨20.2612.76%满洲里20.2612.76%石家庄20.2512.44%沈阳20.2412.12%长春20.2411.81%乌鲁木齐20.2411.81%湛江20.2311.49%西安20.2010.21%郑州20.178.30%呼和浩特20.157.66%海口20.136.70%合肥20.115.74%南昌20.105.11%拉萨20.042.23%贵阳20.031.28%兰州20.031.28%太原20.031.28%银川20.031.28%西宁20.010.64%3.6.2. 无纸化报关传输流量通过对试点数据的观测，考虑无纸化方案设计要求，平均每票无纸化报关单月需要5000Kb/s流量，计算得出无纸化报关传输流量在不同比例下产生的带宽占用量为：关别目前带宽各无纸化单证比例下的网络带宽需求（Mbps）Mbps目前试点5%10%30%50%80%100%北京关区8是0.30.61.82.94.75.8天津关区8是0.5135810.1石家庄区2否000.10.10.20.3太原海关2否000000满洲里关2否00.10.30.50.70.9呼特关区2否00.10.20.30.40.5沈阳关区2否000.10.10.20.3大连海关2否0.30.61.83.14.96.1长春关区2否000.10.10.20.3哈尔滨区2否00.10.20.40.60.7上海海关20是3.56.920.834.655.469.2目前试点通关无纸化企业大多为AA类企业或原“无纸通关、单证暂存”企业，其中“单证暂存“企业无需递交纸面单证，也不需要传输随附单证电子扫描件，故原方案根据目前现状估算的传输量可能偏低。参考上海海关存量报关单证电子化系统中随附单证实际情况，每份报关单平均附带10份随附单证，每个随附单证的平均数据量约为300KB，单票报关单随附电子单证的数据量为3MB。故此表中各阶段网络带宽需求可能需要重估，我们推荐的单信道估算值为83.3Mbps（150000/4/60/60*8），考虑备份后需要新增167Mbps。南京海关6是1.12.36.811.318.122.7杭州关区2是0.10.30.91.42.32.9宁波关区4是0.71.346.710.613.3合肥海关2否000.10.20.30.3福州关区2是0.10.20.611.62厦门关区4否0.40.92.64.36.98.6南昌关区2否000.10.10.20.3青岛海关4是0.81.64.77.812.515.7郑州关区2否000.10.10.20.2武汉海关2否00.10.20.40.60.7长沙关区2否000.10.10.20.3广州海关4是0.513.15.28.310.4黄埔关区6是11.95.89.715.519.4深圳海关30是1.63.39.816.326.132.6拱北关区4是0.30.723.35.36.6汕头海关2否0.10.10.40.611.3海口关区2否0000.10.10.1湛江关区2否000.10.10.10.2江门关区2否0.10.10.40.71.11.4南宁关区2否00.10.20.40.60.7成都关区2否0.10.10.40.611.3重庆关区2否0.10.10.30.60.91.1贵阳海关2否000000昆明关区2否000.10.20.40.5拉萨海关2否000000西安关区2否000.10.20.30.3乌关区2否0.10.10.30.50.81兰州关区2否000000银川海关2否000000西宁关区2否000000小于0.001Mbps计为03.6.3. 无纸化调阅流量信息中心网络部通过对上海海关的运行网线路近半个月流量数据的实际监控，结合运行网上传输的无纸化业务流量与实际发生的上海无纸化报关单量进行了分析，依据目前现场作业对的无纸化随附单证调阅比例，发现调阅一张报关单一般需要2秒，而平均每张报关可能产生的调阅数据量为0.044Mb，因此得出了一张报关单单词产生的调阅数据产生平均流量为：0.022Mb/s。根据目前通关无纸化项目的设计，随附单证可能会在审单、审核和放行环节调用，对比下表和前述“无纸化报关传输流量”可知，目前无纸化随附单证的总调阅率约为1%，为充分满足业务发展需要，假设未来无纸化随附单证的调阅率不少于报关单的改单率（目前约为10%），且调阅比例仅限于单个环节，项目推广后上述三个环节会被现场关员调阅计，平均一张报关单调阅过程将共产生流量为：0.66Mb/s。因此根据各关报关单基础数量，按最大并发计算得出无纸化调阅流量在不同比例下产生的带宽占用量为：关别目前带宽各无纸化单证比例下的网络带宽需求（Mbps）Mbps目前试点5%10%30%50%80%100%北京关区8是0.03 0.06 0.18 0.29 0.47 0.58 长春关区2否0.00 0.00 0.01 0.01 0.02 0.03 长沙关区2否0.00 0.00 0.01 0.01 0.02 0.03 成都关区2否0.01 0.01 0.04 0.06 0.10 0.13 大连海关2否0.03 0.06 0.18 0.31 0.49 0.61 福州关区2是0.01 0.02 0.06 0.10 0.16 0.20 拱北关区4是0.03 0.07 0.20 0.33 0.53 0.66 广州海关4是0.05 0.10 0.31 0.52 0.83 1.04 贵阳海关2否0.00 0.00 0.00 0.00 0.00 0.00 哈尔滨区2否0.00 0.01 0.02 0.04 0.06 0.07 海口关区2否0.00 0.00 0.00 0.01 0.01 0.01 杭州关区2是0.01 0.03 0.09 0.14 0.23 0.29 合肥海关2否0.00 0.00 0.01 0.02 0.03 0.03 呼特关区2否0.00 0.01 0.02 0.03 0.04 0.05 黄埔关区6是0.10 0.19 0.58 0.97 1.55 1.94 江门关区2否0.01 0.01 0.04 0.07 0.11 0.14 昆明关区2否0.00 0.00 0.01 0.02 0.04 0.05 拉萨海关2否0.00 0.00 0.00 0.00 0.00 0.00 兰州关区2否0.00 0.00 0.00 0.00 0.00 0.00 满洲里关2否0.00 0.01 0.03 0.05 0.07 0.09 南昌关区2否0.00 0.00 0.01 0.01 0.02 0.03 南京海关6是0.11 0.23 0.68 1.13 1.81 2.27 南宁关区2否0.00 0.01 0.02 0.04 0.06 0.07 宁波关区4是0.07 0.13 0.40 0.67 1.06 1.33 青岛海关4是0.08 0.16 0.47 0.78 1.25 1.57 汕头海关2否0.01 0.01 0.04 0.06 0.10 0.13 上海海关20是0.35 0.69 2.08 3.46 5.54 6.92 需要说明的是：目前试点通关无纸化企业大多为AA类企业或原“无纸通关、单证暂存”企业，他们申报的报关单大多为自动放行无需人工干预，同时“单证暂存“企业无需递交纸面单证，也没有上传随附单证扫描件，即使关员人工审核时也不会调阅随附单证扫描件，故原方案根据目前现状估算的传输量可能偏低。另外，此表在进行调阅所需网络流量估算时是以10%的通关无纸化报关单将被现场关员调阅为基准比例得到的。而根据我关业务部门提供的数据，在通关无纸化业务推广到B类和C类企业之后，现场关员将会调阅60-70%的进口报关单和30-40%的出口报关单所对应的随附单证扫描件，故此表中的新增网络带宽可能需要重新预估，我们推荐的网络带宽需新增42.35Mbps，考虑备份信道后需新增85Mbps。需要说明的是：目前试点通关无纸化企业大多为AA类企业或原“无纸通关、单证暂存”企业，他们申报的报关单大多为自动放行无需人工干预，同时“单证暂存“企业无需递交纸面单证，也没有上传随附单证扫描件，即使关员人工审核时也不会调阅随附单证扫描件，故原方案根据目前现状估算的传输量可能偏低。另外，此表在进行调阅所需网络流量估算时是以10%的通关无纸化报关单将被现场关员调阅为基准比例得到的。而根据我关业务部门提供的数据，在通关无纸化业务推广到B类和C类企业之后，现场关员将会调阅60-70%的进口报关单和30-40%的出口报关单所对应的随附单证扫描件，故此表中的新增网络带宽可能需要重新预估，我们推荐的网络带宽需新增42.35Mbps，考虑备份信道后需新增85Mbps。深圳海关30是0.16 0.33 0.98 1.63 2.61 3.26 沈阳关区2否0.00 0.00 0.01 0.01 0.02 0.03 石家庄区2否0.00 0.00 0.01 0.01 0.02 0.03 太原海关2否0.00 0.00 0.00 0.00 0.00 0.00 天津关区8是0.05 0.10 0.30 0.50 0.80 1.01 乌关区2否0.01 0.01 0.03 0.05 0.08 0.10 武汉海关2否0.00 0.01 0.02 0.04 0.06 0.07 西安关区2否0.00 0.00 0.01 0.02 0.03 0.03 西宁关区2否0.00 0.00 0.00 0.00 0.00 0.00 厦门关区4否0.04 0.09 0.26 0.43 0.69 0.86 银川海关2否0.00 0.00 0.00 0.00 0.00 0.00 湛江关区2否0.00 0.00 0.01 0.01 0.01 0.02 郑州关区2否0.00 0.00 0.01 0.01 0.02 0.02 重庆关区2否0.01 0.01 0.03 0.06 0.09 0.11 小于0.001Mbps计为03.6.4. 高清无纸化报关传输流量请上海关补充说明原有220M带宽需求的估算过程，并说明该方式在通关流程暂不使用，当前仅使用200 dpi黑白模式作为通关时单证交换格式标准。当前通关无纸化尚未采用高清格式扫描、传输，参考上海海关存量报关单证电子化所采用的高清格式，每份电子单证的平均数据量约为300KB，约为标清格式的3倍；预计下阶段单票报关单平均附带10份随附电子单证，为试点阶段的2倍，故单票报关单随附高清电子单证的数据量为3MB，为标清格式单证的6倍。参考上海海关存量报关单证电子化的实际效果，当期无纸化工程推荐使用高清格式单证作为交换格式标准。上海关业务部门认为目前已经开展通关无纸化试点的企业中，大部分均有意选取了随附单证较少的报关单进行无纸化通关以减少工作量，故每个报关单的随附单证以5个计算可能还是偏离了实际情况。根据上海海关统计处提供的试点存量单证电子化的情况来看，每个报关单以10个随附单证来核算应该较为合理。以上海海关为例，该关每天的报关单申报量约为50000份/天，平均每份报关单及随附电子单证的数据量为3MB，数据传输总量为150GB，这些数据主要集中在每天4小时业务高峰时段内传输，故该关无纸化通关推广至100% 报关单时传输流量所需新增带宽需求为83.3Mbps（150000/4/60/60*8）。按照现场关员将会调阅60-70%的进口报关单和30-40%的出口报关单所对应的随附单证扫描件（统计上海海关2012年日均报关单为进口报关单16232份、出口报关单35119份）并考虑调阅操作每天集中在4小时内全部完成，则无纸化调阅流量新增带宽需求约42.35Mbps（16232*70%+35119*40）*3/4/60/60*8）。3.7. 其它需求3.7.1. 成本应考虑一次性购买成本、每年维保成本和学习成本。3.7.2. 产品成熟度 应考虑产品所述单位的知名度、产品使用的成功案例和产品自身的研发时间、版本。第四章 规划总体结构4.1. 方案一：集中存放模式4.1.1. 总体结构图结构图如下：对结构图的说明： 随附单据电子数据的传入随附单据电子数据通过数据中心和各关EDI(主要是上海和深圳)通过MQ发送到统一数据交换平台（ESB）,数据平台接收数据时进行处理，一部分是文件的元数据（文件本身信息、存放地址等）存入总署Oracle元数据库中，文件本身存入生产库文件服务器； 随附单据电子数据的调阅H2010客户端需要调阅随附单据电子数据时，通过H2010中间层从元数据库中获取文件的地址信息，获取到地址信息后，通过部署在直属海关的管理服务器（WebServer），连接到总署的管理服务器，若直属海关未配置管理服务器，则直接连接总署管理服务器；总署的管理服务器从生产库文件服务器上获取文件，如果从生产库上取不到，则去历史库中取，然后将文件通过总署管理服务器回传给直属海关管理服务器，直属海关管理服务器回传给H2010客户端进行展示，若直属海关未配置管理服务器，文件直接通过总署管理服务器回传给H2010客户端进行展示。 随附单据文件的存储生产库文件服务器上存储部分的文件，可以按照只存一年期（时间可调）的数据或者只存储未理单的报关单的随附单据电子数据，其它部分数据转移历史库或带库中。估算一年的存储容量30TB，历史库存4年数据，按照每年增量5%，总共150TB，带库200TB的容量。 文件系统的备份、容灾在广东分中心建立文件系统的容灾备份，元数据Oracle按照现有的Oracle双向复制规则进行，对文件服务器需要单独建立容灾机制。数据中心的总体结构如下图：用户主要是通过预录入客户端和上海EDI平台两个途径传入电子随附单据。用户在预录入客户端上操作后，预录入系统一方面把报关单数据传入内网，一方面通过上传服务器和MQ程序将电子随附单据文件用另一条路径传入内网；对于上海EDI，电子随附单据是通过MQ通道传入数据中心，再由数据中心传到内网。4.1.2. 优点对于信息中心1. 数据总署集中一份，能保持随附单据电子数据的整体性2. 数据集中存取，方便运维管理3. 容灾备份时单一数据源4. 目前的试点程序基本可直接使用，仅需局部更新对于数据中心1. 随附单据附件集中存储在数据中心节点，便于统一日常维护、管理；2. 数据中心方便对随附单据附件进行统一的数据分析、挖掘；3. 方便跨关区查看随附单据文件；4. 数据中心作为海关内网的统一入口，对数据安全性有保障；5. 程序集中部署可降低成本消耗；6. 集中式部署方式不需要改变现有的网络结构，只需在原有的基础上扩容相关线路的物理带宽即可满足业务需求。扩容带宽的操作时间周期较短，工作量较小，并且由数据中心统一规划安排，更容易实施。4.1.3. 缺点对于信息中心1. 集中存取导致总署文件服务器性能、网络流量压力大。2. 各关开发的自有应用将无法直接获取随附单据数据文件，需单独提供访问方式。对于数据中心需要较高的带宽来满足随附单据附件传输需要4.1.4. 网络估算4.1.4.1. 净增流量在这种模式下，自海关运行网传输的主要为无纸化调阅数据，主要的无纸化通关流量会由数据中心骨干线路进行传输。因此骨干网带宽只需考虑调阅流量的增量。关别目前带宽各无纸化单证比例下的网络带宽需求（Mbps）Mbps目前试点5%10%30%50%80%100%北京关区8是0.03 0.06 0.18 0.29 0.47 0.58 长春关区2否0.00 0.00 0.01 0.01 0.02 0.03 长沙关区2否0.00 0.00 0.01 0.01 0.02 0.03 成都关区2否0.01 0.01 0.04 0.06 0.10 0.13 大连海关2否0.03 0.06 0.18 0.31 0.49 0.61 福州关区2是0.01 0.02 0.06 0.10 0.16 0.20 拱北关区4是0.03