单兵系统测试方案V3.0-最终版

金关工程二期视频监控指挥系统建设单兵系统测试方案文档版本号 V1。0版编写批准批准日期第 3 页目 录1引言部分11。1编写目的11.2项目背景11。3术语和缩略语11。3。1术语11。3。2缩略语21.4参考资料22测试概要32.1测试目的32。2测试范围33测试准备阶段33。1测试时间及地点33。2测试厂商33.3测试组织与职责43。3.1测试的组织43。3。2测试参加单位、人员43.3.3测试机构职责43。4测试环境与配置63.4。1软硬件环境64测试流程75测试进度86测试环境组网拓扑96.1音视频类单兵系统组网拓扑106。2业务类单兵系统组网拓扑117测试用例设计127.1音视频类单兵系统测试127。1。1平台测试127。1.2终端测试137。2业务类单兵系统测试187.2。1平台测试187。2。2终端测试208测试评判标准228.1评价原则228。2评分方法228.3评分标准22第 28 页1 引言部分1.1 编写目的编写单兵系统测试方案主要规定了单兵系统测试的程序、方法、流程和评判标准，用于指导客户对单兵系统进行验证并指导测试方对单兵系统平台软件和单兵终端进行测试，以有效保证系统产品的质量.1.2 项目背景以建设适应现代海关建设要求的海关指挥体系为目的，按照“情况明、数字准、责任清、作风正、工作实”的要求，建立“信息全面、反应迅速、指挥有序的纵向指挥有力、横向协作紧密、整体运转高效有序的全国海关监控指挥体系。全国海关监控指挥系统主要包括硬件支撑系统,支撑平台，场地基础设施以及软件应用系统建设、安全运维管理和标准规范体系6个部分。单兵系统作为全国海关监控指挥系统的重要组成部分，主要用在业务现场突发事件的紧急处置和调度;业务现场的监管工作、查验和放行等工作；缉私行动过程中的分组、抓捕和调查取证中。当海关网络不能覆盖的野外、非设关地、海上等区域，处置现场海关关员需通过携带便携式装备，通过3G/4G无线移动网络，与指挥中心进行音视频通话,接收指令下达，进行业务操作和专项行动等，以满足工作的需要，提高海关人员的工作效率。1.3 术语和缩略语1.3.1 术语本方案术语但不限于如下术语.1、 总体设计方案金关工程（二期)全国海关监控指挥系统基础设施建设工程总体设计方案2、 综合调度系统监控指挥综合调度系统3、 初设海关金关工程（二期）初步设计方案和投资概算报告4、 基础设施指导方案海关金关工程（二期)全国海关监控指挥中心基础设施建设指导方案5、 一级指挥中心海关总署为一级监控指挥中心6、 二级指挥中心直属海关为二级监控指挥中心7、 三级指挥中心隶属海关为三级监控指挥中心1.3.2 缩略语本方案缩略语但不限于以下缩略语。H。320:在窄带可视电话系统和终端（NISDN) 上进行多媒体通信的标准.H。322：在有QoS保证的局域网上进行多媒体通信的标准。H。323:在无QoS保证的包交换网络上进行多媒体通信的标准。H。263是由ITU-T制定的视频会议用的低码率视频编码标准，属于视频编解码器.H.264:是国际标准化组织(ISO）和国际电信联盟（ITU）共同提出的继MPEG4之后的新一代数字视频压缩格式。1.4 参考资料本方案参考依据但不限于如下方案进行编写。海关金关工程（二期)初步设计方案和投资概算报告;金关工程（二期)全国海关监控指挥系统基础设施建设工程总体设计方案;安全防范视频监控联网系统信息传输、交换、控制技术要求GB/T281812011;安全防范工程技术规范GB50348-2004；民用闭路监视电视系统工程技术规范GB501981994;会议电视系统工程设计规范YD50322005；会议电视系统工程验收规范YD50332005；视频安防监控系统工程设计规范GB50395-2007；视频显示系统工程技术规范GB504642008;2 测试概要2.1 测试目的目的在于检验单兵系统功能的正确性、系统的稳定性和性能指标,测试人员根据此方案依次进行系统测试，并按照测试评判准则编制测试报告，并为客户开展后期工作提供参考.2.2 测试范围本部分主要适用于单兵系统管理平台软件和单兵终端的测试及质量评定。3 测试准备阶段3.1 测试时间及地点测试时间:2014年7月21日测试地点：海关总署机房3.2 测试厂商序号参测厂商测试设备品牌调试时间测试时间1华平7月21日7月21日2海康7月22日7月22日3电信7月23日7月23日4联通7月24日7月24日5真视通7月25日7月25日6佳讯飞鸿7月28日7月28日7天地阳光7月29日7月29日8迈可行7月30日7月30日9普天7月31日上午7月31日上午上海精视7月31日下午7月31日下午10平台兼容性测试8月1、4、5日8月1、4、5日3.3 测试组织与职责3.3.1 测试的组织单兵系统测试工作主要由分项集成单位组织安排。主要由组织方、受测方、监理方共同实施。设备商为受测方，信息中心参与。由用户委派的监督人进行全过程监督，评审小组在测试过程与受测方协同完成测试并对测试结果进行评审。3.3.2 测试参加单位、人员参加测试的人员包括使用单位、监理单位、设计单位的代表和一定数量的技术专家，具体参加人数见下表：测试单位测试角色人员数量备注北京赛迪信息工程监理有限公司监理方长城计算机系统与软件有限公司组织方华平受测方海康受测方电信受测方联通受测方真视通受测方佳讯飞鸿受测方天地阳光受测方迈可行受测方普天受测方上海精视受测方3.3.3 测试机构职责系统测试时要协商组成测试小组，测试小组针对单兵系统的功能性、性能稳定性和兼容性进行测试，并根据评判准则出具公平、公正、合理的测试报告,最后提交科技司,作为开展后期工作的参考。测试小组组织机构如下图所示图 Error! Bookmark not defined. 测试小组组织机构图3.3.3.1 测试经理1、负责测试团队管理工作；2、负责带领测试团队，设计、执行、优化测试过程，丰富测试手段，引入新的测试框架和测试策略；3、与其他测试人员、开发人员、项目管理人员沟通和协作，推动整个项目的顺利进行；4、维护测试流程,统计和分析测试结果，提高测试效率和质量。5、负责测试报告的审核。3.3.3.2 主要测试人员1、根据需求制定测试计划，设计测试数据和测试用例；2、有效地执行测试用例，提交测试报告；3、准确地定位并跟踪问题,推动问题及时合理地解决；4、完成对产品的集成测试与系统测试，对产品的软件功能、性能及其它方面的测试。3.4 测试环境与配置3.4.1 软硬件环境为便于测试准备工作的开展和测试时间安排的衔接，本次海关单兵系统测试应以下基础环境进行准备。3.4.1.1 网络测试基础环境准备信息中心准备序号设备名称设备用途数量备注1测试场地供电及网络基础环境提供220V电源接口12虚拟化应用服务器提供海关业务系统访问13互联网固定IP地址互联网接入14交换机24口，带端口限速功能13.4.1.2 测试相关设备准备受测厂商准备序号设备名称设备用途数量备注1单兵服务器信令转发22视频应用发布服务器信息发布13音视频单兵终端3G单兵（含3G卡)34音视频单兵终端4G单兵（含4G卡）15业务类单兵终端信息采集26单兵调度终端接收单兵音视频信号17高清电视机42寸液晶电视28音箱用于单兵调度终端音频回放19DVD播放器含测试碟110秒表网络延时测试211麦克风用于声音同步测试112显示器设备调试213网线网络连接若干14无线路由器WIFI接入115网损仪网络丢包14 测试流程测试过程大体分为两个阶段:准备阶段与测试阶段。在准备阶段，被测试方的主要工作是在测试地点针对单兵系统的测试需求进行基础测试环境的准备工作，其中涉及设备的上架安装、配置、测试设备载入测试规定要求的操作系统软件，设备板卡模块安装，线缆对接，软件功能配置调试等。另外，被测试方需要根据测试要求准备相应的参测设备，并向组织方提交测试设备型号清单。测试阶段主要根据测试用例对单兵系统进行逐一测试，在功能性、性能稳定性、兼容性分别进行测试，最后并出具详细的测试报告。具体测试流程如下图所示：5 测试进度本次测试时间为7月21日至8月5日（不含节假日),共计12天。计划7月15日至7月18日将测试设备发至测试地点（海关总署）,并进行环境搭建；7月21日至8月5日为正式测试阶段，计划每个测试厂商1天；最后测试平台的兼容性（测试时间为8月1、4、5日).6 测试环境组网拓扑 由于单兵系统主要有两种应用：业务类和音视频类.根据单兵系统应用将测试主要按照单兵系统应用进行搭建,并依次从系统的功能、性能和兼容性三个方面进行测试。6.1 音视频类单兵系统组网拓扑6.2 业务类单兵系统组网拓扑7 测试用例设计7.1 音视频类单兵系统测试7.1.1 平台测试序号测试项目测试内容评测方法测试结果功能测试1平台用户管理用户的创建、修改、删除、赋权、记录功能在单兵接入服务器上创建一个单兵用户，并对其进行修改、赋权、删除等操作，用创建完成的用户登录平台验证操作是否有效。通过不通过2调度窗口设置支持多窗口显示单兵图像，且在不中断传输的情况下单兵图像的位置可以任意调整可设置4分屏模板，接收2个单兵终端视频图像，在不退出情况下单兵终端视频画面能互换操作。通过不通过3模板设置模板可以随机设置。查看相应界面验证。模板数15模板数15模板数=0最大支持多少画面分屏显示查看相应界面验证。分屏3030分屏10 分屏104本地录制存储具备录像功能，可以选择任意单个单兵图像或多个单兵图像进行录像 对任意一个单兵图像进行录像。通过不通过对多个单兵图像进行录像.通过不通过5图像抓拍支持远端抓拍单兵终端图像功能在本地可进行图像抓拍、保存、回访等操作。通过不通过6日志功能提供单兵终端登录日志功能进入单兵接入服务器,查看单兵终端上下线情况。通过不通过7管理界面支持web界面管理,无须安装另外的管理软件用电脑打开IE浏览器，输入服务器IP地址，能访问平台登录界面.通过不通过性能测试1平台分级管理单兵接入服务器的级联性； 用2台单兵接入服务器模拟成海关总署和直属海关平台，且构成二级联，海关总署单兵终端登录海关总署单兵服务器，同时直属海关单兵终端登录直属海关单兵服务器。通过不通过多级平台具备独立的账号数据管理能力。海关总署单兵接入服务器能看到直属海关所有的单兵账号。通过不通过支持海关总署对海关网内所有单兵终端的调度在海关总署单兵接入服务器上,能同时接收总署海关单兵终端和直属海关单兵终端的图像，并可以和其中任何一个单兵对讲.通过不通过2单台服务器接入数量查看单台服务器支持的最大单兵终端接入路数通过服务器管理页面查看可接入的单兵终端接入路数。通过不通过兼容性测试1与其他厂家单兵设备接入单兵平台兼容性在单兵接入服务器上建立多个设备账号，看其他厂家单兵终端能否使用该该账号正常登陆，可与其他厂家单兵终端进行交互。通过不通过（表1音视频类单兵平台测试）7.1.2 终端测试7.1.2.1 网络适应性测试序号测试内容测试项目测试方法评测标准测试结果环境：测试人员携带单兵终端到用户指定地点(覆盖3G、4G网络 ）进行测试13G网络测试(图像分辨率为640480， 帧率15）图像质量观察单兵终端回传单兵接入服务器的图像，是否有马赛克、抖动、跳帧、拖影、停顿等现象。解码图像上稍有可觉察的损伤或干扰解码图像上有损伤或干扰,但可接受解码图像上损伤或干扰较严重 ，无法接受图像延时使用2个秒表对时后,一块有单兵终端拍摄，另一块秒表由测试人员拿到远端测试点，观察远端图像里秒表时间与测试人员手里秒表之间时钟值差图像延时3秒唇音同步单兵终端对准一个现场测试人员,让测试人员进行1到10的手势报数，指挥中心观察报数人员手势和声音的吻合度.唇音同步3秒24G网络测试（图像分辨率为640*480, 帧率15）图像质量观察单兵终端回传单兵接入服务器的图像，是否有马赛克、抖动、跳帧、拖影、停顿等现象。解码图像上稍有可觉察的损伤或干扰解码图像上有损伤或干扰，但可接受解码图像上损伤或干扰较严重 ，无法接受图像延时使用2个秒表对时后，一块有摄像机拍摄，另一块秒表由测试人员拿到远端测试点，观察远端图像里秒表时间与测试人员手里秒表之间时钟值差图像延时1秒1秒图像延时3秒图像延时3秒唇音同步单兵终端对准一个现场测试人员，让测试人员进行1到10的手势报数，指挥中心观察报数人员手势和声音的吻合度。唇音同步1秒1秒唇音同步3秒唇音同步3秒（表 2 音视频类单兵终端网络适应性测试）7.1.2.2 性能指标测试（有线网络测试）序号测试内容测试项目测试方法评测标准测试结果测试环境：以DVD播放一段视频(含语音及字幕），并显示播放的时钟(精确到秒)。将DVD视频输出作为单兵的视频源或作为单兵摄像头拍摄的视频源，通过单兵进行编码，现场同时显示原始图像和解码后的图像。1网络限速256Kbps测试条件:终端编码：码率：CIF、15帧以上图像质量比较解码图像和原始图像的清晰度和流畅程度解码图像上稍有可觉察的损伤或干扰解码图像上有损伤或干扰，但可接受解码图像上损伤或干扰较严重，无法接受图像延时比较解码图像和原始图像的展现的时钟值差图像延时1秒1秒图像延时3秒图像延时3秒唇音同步观察解码图像中DVD字幕与演员口形的吻合度唇音同步3秒2网络限速512Kbps测试条件:终端编码D1、15帧以上图像质量比较解码图像和原始图像的清晰度和流畅程度解码图像上稍有可觉察的损伤或干扰解码图像上有损伤或干扰，但可接受解码图像上损伤或干扰较严重,无法接受图像延时比较解码图像和原始图像的展现的时钟值差图像延时1秒1秒图像延时3秒图像延时3秒唇音同步观察解码图像中DVD字幕与演员口形的吻合度唇音同步3秒3网络限速768Kpbs测试条件:终端编码：D1、25帧以上图像质量比较解码图像和原始图像的清晰度和流畅程度解码图像上稍有可觉察的损伤或干扰解码图像上有损伤或干扰,但可接受解码图像上损伤或干扰较严重，无法接受图像延时比较解码图像和原始图像的展现的时钟值差图像延时1秒1秒图像延时3秒图像延时3秒唇音同步观察解码图像中DVD字幕与演员口形的吻合度唇音同步3秒唇音同步单兵终端对准一个现场测试人员，让测试人员进行1到10的手势报数，指挥中心观察报数人员手势和声音的吻合度。唇音同步1秒1秒唇音同步3秒唇音同步3秒2WIFI网络测试（图像分辨率为640480， 帧率25以上)图像质量观察单兵终端回传指挥中心的图像,是否有马赛克、抖动、跳帧、拖影、停顿等现象。解码图像上稍有可觉察的损伤或干扰解码图像上有明显的损伤或干扰,令人感到讨厌解码图像上损伤或干扰较严重，令人相当讨厌或图像无法识别图像延时使用2个秒表对时后，一块有摄像机拍摄,另一块秒表由测试人员拿到远端测试点，观察远端图像里秒表时间与测试人员手里秒表之间时钟值差。图像延时3秒功能性测试1业务应用访问海关业务系统通过业务单兵终端访问海关业务系统的数据。(该功能需定制开发）能否成功访问通过不通过8 测试评判标准8.1 评价原则本次测试将会以测试通过项的方式记录测试结果，评审组在对测试结果进行评分时,应以公平、公证为基本原则，依据测试方案的合理性、技术实现的程度及实际效果、技术实现复杂性、测试的时间控制等方面进行综合评价，经各受测方签字确认后形成具有参考价值的测试结果。若受测方之间对测试过程及结果具有争议的时将争议内容以书面形式提交组织方解决，测试最终结果以评审组和监理单位确认为准。8.2 评分方法测试的评分方法以海关业务需求为原则，以满足测试内容的指标要求为评分要素，评分从基本指标和加分指标两方面取值： 基本指标：记录通过测试项，需要受测方完全实现基本指标要求,否则在该测试部分记为测试不通过项。 加分指标：在测试结果满足基本指标的前提下，实现加分指标中的技术需求,记录为加分测试通过项.8.3 评分标准音视频类单兵系统平台测试测试主题测试项测试内容测试结果分值功能测试（22分） 1平台用户管理用户的创建、修改、删除、赋权、记录功能通过（2分）不通过(0分)2调度窗口设置支持多窗口显示单兵图像,且在不中断传输的情况下单兵图像的位置可以任意调整通过（2分）不通过（0分）3模板设置模板可以随机设置。模板数15(2分）模板数15（1分）模板数=0（0分）最大支持多少画面分屏显示分屏30（2分）30分屏10 （1分）分屏10(0分）4本地录制存储可以选择任意单个单兵图像进行录像； 通过(3分）不通过（0分）对多个业务单兵图像进行录像.通过(3分）不通过（0分）5图像抓拍支持远端抓拍单兵终端图像功能通过（3分)不通过（0分）6日志功能提供单兵终端登录日志功能通过（3分）不通过（0分)7管理界面支持web界面管理，无须安装另外的管理软件通过（2分)不通过（0分）性能测试（10分）1平台分级管理单兵接入服务器的级联性； 通过(3分）不通过（0分）多级平台具备独立的账号数据管理能力。通过（3分）不通过（0分）支持海关总署对海关网内所有单兵终端的调度通过（2分)不通过（0分）2单台服务器接入数量查看单台服务器支持的最大单兵终端接入路数通过（2分）不通过（0分）兼容性测试（4分)1与其他厂家单兵设备接入单兵平台兼容性通过（4分）不通过(0分)音视频单兵系统终端测试测试主题测试项测试内容测试结果分值性能测试(网络适应性测试)（12分）13G网络测试图像质量1）解码图像上稍有可觉察的损伤或干扰。（2分)2）解码图像上有损伤或干扰，但可接受.（1分）3）解码图像上损伤或干扰较严重，无法接受。（0分）图像延时1）图像延时3秒（0分）唇音同步1）唇音同步1秒（2分)2）1秒唇音同步3秒(1分）3）唇音同步3秒（0分）24G网络测试图像质量1)解码图像上稍有可觉察的损伤或干扰。（2分）2）解码图像上有损伤或干扰，但可接受。(1分）3）解码图像上损伤或干扰较严重，无法接受。（0分）图像延时1）图像延时3秒（0分）唇音同步1）唇音同步1秒(2分）2)1秒唇音同步3秒（1分)3）唇音同步3秒（0分）性能测试（有线网络测试）（26分）1256Kbps网络限速测试图像质量1）解码图像上稍有可觉察的损伤或干扰（2分）2）解码图像上有损伤或干扰，但可接收(1分)3）解码图像上损伤或干扰较严重，无法接收（0分)图像延时1）图像延时3秒（0分）唇音同步1）唇音同步3秒(0分）2512Kbps网络限速测试图像质量1)解码图像上稍有可觉察的损伤或干扰（2分）2)解码图像上有损伤或干扰，但可接收（1分）3)解码图像上损伤或干扰较严重，无法接收（0分）图像延时1）图像延时3秒（0分）唇音同步1）唇音同步1秒（2分)2）1秒唇音同步3秒(1分）3）唇音同步3秒（0分)3768Kbps网络限速测试图像质量1）解码图像上稍有可觉察的损伤或干扰（2分）2）解码图像上有损伤或干扰，但可接收(1分）3）解码图像上损伤或干扰较严重,无法接收（0分）图像延时1)图像延时1秒（2分）2）1秒图像延时3秒(1分)3）图像延时3秒（0分）唇音同步1)唇音同步1秒（2分）2）1秒唇音同步3秒（1分）3)唇音同步3秒（0分)4单兵终端录像回放测试图像存储通过（2分）不通过（0分)H.264图像编码格式支持通过（2分）不通过（0分）25帧图像编码支持通过（2分）不通过（0分）5抗丢包能力测试 抗丢包测试1）图像连续、无马赛克;声音效果清楚,无卡顿。（2分）2)图像稍有不连续和马赛克；声音效果一般，但可接受.（1分）3）图像不连续、马赛克严重;声音效果差,卡顿严重，令人无法接受.（0分）功能测试（24）1网络接入支持3G网络接入通过（3分)不通过（0分）支持WIFI网络接入通过（3分）不通过(0分)支持以太网接入通过（3分）不通过(0分）支持4G网络接入通过（3分)不通过（0分）2电源支持电池供电，且不低于4小时通过（2分）不通过(0分）3人机交互支持提供电池工作状态、GPS等信息通过(2分)不通过（0分）4摄像头支持外接针孔、DV、移动执法仪等多种摄像头通过(2分）不通过（0分）在没有网络的情况下，摄像头支持录音、拍照、录像等功能通过(2分)不通过（0分)5卫星定位GPS定位通过（2分)不通过(0分）北斗定位通过（2分）不通过（0分）业务类单兵系统平台测试测试主题测试项测试内容测试结果分值功能测试（22分）1平台用户管理用户的创建、修改、删除、赋权、记录功能通过（2分）不通过（0分）2调度窗口设置支持多窗口显示业务单兵图像,且在不中断传输的情况下，业务单兵图像的位置可以任意调整通过(2分)不通过（0分）3模板设置模板可以随机设置。模板数15（2分）模板数15（1分）模板数=0（0分）最大支持多少画面分屏显示分屏30（2分）30分屏10 (1分）分屏10（0分）4本地录制存储对任意一个业务单兵图像进行录像.通过（3分)不通过（0分)对多个业务单兵图像进行录像。通过（3分）不通过(0分）5图像抓拍单兵调度终端在本地抓拍远端图像通过(3分）不通过（0分)6日志功能提供登录日志功能通过（3分）不通过（0分）7管理界面支持web界面管理，无须安装另外的管理软件通过(2分）不通过（0分）性能测试（10分）1平台分级管理单兵接入服务器的级联性； 通过（3分）不通过（0分)多级平台具备独立的账号数据管理能力。通过（3分）不通过（0分）支持海关总署对海关网内所有业务单兵终端的调度通过（2分）不通过（0分）2单台接入服务器接入数量查看单台服务器支持的最大业务单兵终端接入路数路数128路（2分）128路数64（1分）路数64（0分）兼容性测试（4分）1与标准的H.323/SIP视频会议系统交互支持与标准的H。323/SIP视频会议系统进行交互通过（4分）不通过(0分）业务类单兵系统终端测试测试主题测试项测试内容测试结果分值性能测试（网络适应性测试）（12分）13G网络测试图像质量1）解码图像上稍有可觉察的损伤或干扰（2分）2)解码图像上有损伤或干扰，但可接收（1分）3）解码图像上损伤或干扰较严重，无法接受（0分）图像延时1）图像延时1秒（2分)2）1秒图像延时3秒（1分）3）图像延时3秒（0分）唇音同步1）唇音同步3秒（0分)2WiFI网络测试图像质量1）解码图像上稍有可觉察的损伤或干扰(2分)2）解码图像上有损伤或干扰，但可接收（1分）3）解码图像上损伤或干扰较严重，无法接受（0分）图像延时1）图像延时3秒（0分）唇音同步1）唇音同步3秒(0分)功能性测试（2分）1业务应用访问海关业务系统通过（2分)不通过（0分)测试组织（20分）（*该项为附加项）资料的完整性 1是否在规定时间内提交资料是（5分）否(2分）2提交的资料是否完整完整(5分）不完整（2分）测试时间1是否在规定时间内完整所有测试是（5分)否（2分)测试设备1是否在规定时间内将测试设备运至指定地点，完成准备工作，并进行环境搭建。是（5分）否(2分)