《软件测试能力介绍》PPT课件.ppt

主要内容,测试对象及组织机构测试标准与规范测试流程软件测试管理软件测试能力成功案例,主要内容,测试对象及组织机构测试标准与规范测试流程软件测试管理软件测试能力成功案例,我所从50年代后期开始涉足我国飞行控制领域。上世纪80年代开始，随着数字计算机在飞控系统的广泛采用，飞控系统软件的质量逐渐成为影响系统安全可靠的重要环节。由于飞行控制系统是影响到各类飞行器安全的关键系统。因此飞控系统软件的测试和验证成为贯穿于整个软件生命周期过程的不可或缺重要工作。,专业简介,目前我所飞控系统产品所涉及的两个主要领域为：,军用飞行器固定翼飞机旋翼飞机无人机导弹,民用飞机,主要领域,安全关键级软件的测试,数字化控制在飞控系统中的应用，计算机软件在飞控系统中得到大量的应用。飞控软件在规模上以及重要性上，均呈急剧上升的趋势。2001年开始，我们成立了软件测试中心建立一整套面向高安全性、高可靠性飞控软件的软件测试验证流程,主要内容,测试对象及组织机构测试标准与规范测试流程软件测试管理软件测试能力成功案例,测试标准与规范,通用规范：CMM、DO-178B行业规范：涉及航空、航天、武器、电信和军事等领域企业标准与规范：机载软件编程规范飞行控制系统软件测试规范软件开发流程,主要内容,测试对象及组织机构测试标准与规范测试流程软件测试管理软件测试能力成功案例,软件生存周期全流程,软件测试验证流程,软件测试验证流程阶段1-流程中的位置,软件测试验证流程阶段1-总体描述,关注重点：软件需求的评审与分析系统测试用例采用技术：基于需求的测试用例自动生成技术使用工具：T-VEC,软件测试验证流程阶段1-关注重点,高级需求（软件需求规格说明）评审和分析,参加高级需求评审和分析的组织,在软件需求文档的评审检查表中所有的项目都必须填写，评审和分析意见应填写在评审报告中，并和软件需求文档一起归档入配置库。,软件测试验证流程阶段1-主要技术,基于需求的自动测试用例生成技术是一种验证和确认的方法，它能够在产品发布之前减少“疯狂”测试和返工，因为测试工程师在项目早期就对需求进行精练和建模，能够使缺陷对系统产生影响前就被发现。随着软件开发的进行，测试工程师创建测试用例和测试驱动，并建立它们与目标系统的映射和模板；当系统具备可测试条件的时候，测试工程师就可以把经过充分准备的、全面的测试过程快速地进行实施。,软件测试验证流程阶段1-使用工具,系统测试用例生成工具T-VEC为了保证系统测试用例设计的正确性、完整性，提高效率，我们采用了软件测试用例生成工具T-VEC。它能够帮助我们在需求分析的基础上，不依赖于任何软件编译平台和任何硬件平台，独立设计测试用例生成模型，并自动生成测试用例。,软件测试验证流程阶段1-使用工具,T-VEC工具的TTM模型图,软件测试验证流程阶段2-流程中的位置,软件测试验证流程阶段2-总体描述,关注重点：软件设计的评审与分析单元/集成测试用例采用技术：基于模型的测试用例自动生成技术使用工具：SimulinkTesterT-VEC,软件测试验证流程阶段2-关注重点,参加低级需求的评审和分析的组织,在软件设计文档的评审检查表和软件结构的评审表中所有的项目都必须填写，评审和分析意见应填写在评审报告中，并和软件设计文档一起归档入配置库。,低级需求（软件设计文档）评审和分析,软件测试验证流程阶段2-采用技术,基于模型的测试用例自动生成技术测试驱动生成器能够生成和MatlabSimulinkRTW相兼容的测试用例驱动模板。将测试用例驱动和源代码在同一个环境下编译生成测试程序；该测试程序在目标环境下执行，并且在测试驱动执行的时候每个测试执行的结构被存储起来和预期结果进行比较。,软件测试验证流程阶段2-使用工具,基于设计模型的单元测试用例生成工具SimulinkTester软件单元测试用例的设计需要在本阶段内完成，以往我们是参照设计文档和模型，手工编制测试用例。这样的方式不仅效率低，而且不能保证测试的完整性。我们引入基于设计模型的单元测试工具SimulinkTester帮助我们产生测试用例和驱动,软件测试验证流程阶段2-使用工具,SimulinkTester的特点提供包括模型分析、自动测试生成、测试执行和结果分析在内的一套集成解决方案；分析设计模型层次中的每个路径并且生成测试向量来测试每个路径的边界；模型中会导致产生死代码的不可达路径会被标识出来，并且以超链接的方式链接到Simulink模型中的相关部分；该测试过程可以选择生成单元、集成测试用例，以便更有效的发现逻辑方面的判断错误，整数和浮点数数据域方面的计算错误。,软件测试验证流程阶段2-使用工具,模型获取子系统选择模型分析模型仿真转换选项测试生成信号数据范围覆盖分析SimulinkTester（T-Vec）工作流程,软件测试验证流程阶段3-流程中的位置,软件测试验证流程阶段3-总体描述,关注重点：源代码的评审与分析静态测试单元测试集成测试采用技术：满足安全关键系统要求的静态分析技术满足MC/DC结构覆盖要求的单元测试基于抽象解释的飞行控制软件的自动集成测试技术使用工具：静态测试工具Testbed单元测试工具Tbrun集成测试工具PolySpace,软件测试验证流程阶段3-关注重点,参加源代码评审和分析的组织,在源代码评审检查表中所有的项目都必须填写，评审和分析意见应填写在评审报告中，并和源代码一起归档入配置库。,源代码的评审和分析,软件测试验证流程阶段3-采用技术（静态测试）,软件静态测试技术2002年编写了飞行控制系统软件测试规范；根据已有的测试规范，国内首次引入了Testbed静态分析测试辅助工具；在国内首次定制了适合飞控专业的Testbed软件静态分析标准（并先后两次进行了该标准的修订）；为发布软件静态分析的国军标测试标准奠定了坚实的基础。,软件测试验证流程阶段3-使用工具（静态测试）,软件静态测试工具Testbed为了提高软件代码审查、静态测试和分析的效率，保证软件源代码满足特定的代码规则要求，我们借助软件静态测试与分析工具Testbed开展软件静态测试工作。该工具可以帮助我们完成以下工作：自动地验证应用软件是否遵循了所选择的编程规则（比如国军标GJB、欧洲防务标准DERA以及汽车软件标准MISRA）；提供多种形式的软件度量方法，有助于我们能够准确分析和评价被测软件的质量。常用的度量方法有：控制流结点度量、扇入/扇出度量、McCabe圈复杂度、注释行度量；代码可达性度量等。,软件测试验证流程阶段3-使用工具（静态测试）,拥有支持多种编程语言的静态测试和分析工具TestbedforC：2001年购入并在国内率先使用TestbedforASM：2006年购入并在国内领先使用TestbedforADA：2006年购入并在国内率先使用,软件测试验证流程阶段3-采用技术（单元测试）,MC/DC：满足DO-178BA级软件的必要条件右表中的符号表示该目标要单独满足，符号表示该目标要满足。,软件测试验证流程阶段3-使用工具（单元测试）,单元测试工具TBrun为满足软件单元测试的结构覆盖要求，达到DO-178BA级软件的MC/DC结构覆盖率100%，我们借助软件单元测试工具Tbrun展开软件单元测试。我们使用TBrun自动产生软件测试驱动、桩模块；Tbrun允许我们在修改代码后自动对测试用例进行验证和回归测试；同时Tbrun还可以为我们提供代码结构覆盖率分析，比如：语句（BC）覆盖、分支/判定（DC）覆盖、修正条件/判定覆盖（MC/DC）等。,软件测试验证流程阶段3-采用技术（集成测试）,集成测试集成测试的主要内容包含：模块间的接口测试、全局数据结构测试、性能测试、软件功能模块的功能测试。验证软件的数据耦合与控制耦合。软件集成测试过程中采用了基于抽象解释的软件的自动集成测试技术，该项技术具有以下特点：采用抽象解释技术，无需编写测试用例、代码插装和运行被测程序，在编译阶段就可以检测运行时潜在错误；无需测试人员干预，整个过程自动进行。,软件测试验证流程阶段3-使用工具（集成测试）,软件集成测试工具PolySpace通过单元测试可以解决DO-178B所要求的结构覆盖要求，验证软件的控制耦合和部分数据耦合。但是，对于数据耦合的另外的部分问题（比如：数组越界、数据溢出、非法指针等）无法得到完整的验证，因此我们借助PolySpace对被测软件进行测试,实现对被测软件的完整测试。,软件测试验证流程阶段4-流程中的位置,软件测试验证流程阶段4-总体描述,关注重点：系统测试采用技术：飞行控制软件的系统级白盒测试技术使用工具：CodeTest,软件测试验证流程阶段4-采用技术,提出并实现了“飞控系统软件的系统级白盒测试技术”成功开发研制了一种高覆盖率的电传控制系统软件的系统级白盒测试环境；提出并验证了系统环境下针对软件MC/DC结构覆盖的电传控制系统软件白盒测试技术；提出并实现了一种系统级白盒测试环境下的电传控制系统软件代码的跟踪技术。,软件测试验证流程阶段4-使用工具,软件系统级测试工具CodeTest软件系统级测试是困扰我们多年的问题。由于没有得力的工具支持，软件系统级测试一直采用黑盒方式进行。测试人员无法跟踪软件的内部运行情况，不利软件问题的发现和定位。CodeTest可以帮助我们采用硬件辅助软件的系统构架和源代码插装技术，实现对软件内部运行情况的跟踪，实现以下功能：性能分析动态内存分配分析执行追踪分析测试覆盖分析,软件测试验证流程阶段4-使用工具,电传控制系统软件的系统级白盒测试环境,软件测试验证流程阶段4-使用工具,系统测试环境下的软件代码跟踪技术,基于模型设计的软件生存周期流程,软件测试方法的转变,传统软件的开发测试流程图,基于模型的开发测试流程图,？,？,软件测试方法的转变,随着基于模型的开发方法的提出，基于模型设计的软件测试与验证方法也成为研究的焦点。如何提高基于模型开发的软件测试效率，是提高整个软件开发流程水平的关键。模型审查技术；模型覆盖率技术；编译器验证技术。,基于模型设计的软件测试与验证方法,模型审查技术：对软件模型进行模型审查时，既要对软件模型进行审查，也要对各类软件文档进行审查：对软件开发过程中的软件需求和模型设计等阶段中所生成的文档进行检查。,基于模型设计的软件测试与验证方法,模型覆盖率技术为了保证测试的完备性，SCADE提供了基于模型的覆盖率分析（MTC，ModelTestCoverage）。它能够分析仿真场景在模型中的覆盖程度，并能指明未覆盖的路径，发现设计或需求中的缺陷。同时，SCADE还能自动生成覆盖率分析的报告。,基于模型设计的软件测试与验证方法,编译器验证技术CVK,KCG（代码生成器）所产生代码编译后的目标码，经过CVK软件包的验证，可指出该C编译器是否是安全的。,基于模型设计的软件测试与验证方法,编译器验证技术CVK,主要内容,测试对象及组织机构测试标准与规范测试流程软件测试管理软件测试能力成功案例,软件测试管理,清晰的软件配置管理严格的软件质量保证统一的软件测试管理,软件测试管理,清晰的软件配置管理为了有效地管理测试过程中产生的各类文档、资料和数据，我们借助IBM公司的ClearCase和ClearQuest实现软件配置管理和变更控制活动：录入可复用的被测试软件库；录入/捡出被测试程序的源代码、目标代码、设计、测试文档；观察一个元素的历史记录；比较元素版本间的差异，便于管理软件的回归测试；跟踪检出的软件测试版本；为相同开发项目提供与软件产品有关的测试文档和数据。,软件测试管理,严格的软件质量保证建立了评审的控制程序、软件过程活动审核制度和软件的检查和监督制度，SQA严格按照上述的程序和制度，采取抽样检查、参与评审和阶段评审的方法，在软件的全生命周期中，严格执行软件的SQA制度，确保软件的产品质量。,软件测试管理,测试管理工具TestDirector为了将各个阶段、测试工具和测试人员产生的软件测试数据和结果统一进行分析和管理，解决不同测试工具形成的“信息孤岛”现象。基于Web的测试管理系统为我们提供了一个协同合作的环境和一个中央数据仓库；Web界面简化了这些需求管理过程，。通过提供一个比较直观的机制将需求和测试用例、测试结果和报告的错误联系起来，从而确保能达到最高的测试覆盖率；借助该工具可以将需求和测试联系起来，实现需求跟踪和验证。,主要内容,测试对象及组织机构测试标准与规范测试流程软件测试管理软件测试能力成功案例,软件的测试能力,已经形成一整套专业的测试流程；已形成一条完备的软件测试工具链，覆盖软件全生命周期的测试与验证（包含静态测试、单元测试、集成测试、系统测试）；能够针对多种测试对象开展测试，包含：设计模型、C语言、Ada语言、汇编语言等；所测试项目遍及国内多个型号，测试代码行超过200万行；拥有一支高水平的测试梯队和一批经验丰富的测试专家；测试中心具有承接安全关键级软件和任务关键级软件测试的经验和能力。,主要内容,测试对象及组织机构测试标准与规范测试流程软件测试管理软件测试能力成功案例,成功案例,猎鹰高级教练机电传控制系统某型（A）双坐高级教练机电传控制系统某型（B）电传控制系统某型支线客机自动驾驶仪导弹系列无人机系列,取得的荣誉,多种类型的飞机（固定翼、旋翼、有人驾驶、无人驾驶）和导弹等飞行控制软件，经过我们独立测试后，在内场调试中很少产生故障，在外场试验和试飞中均无故障产生，获得用户好评；通过了总装组织的GJB5000CMM2级认证，这一突破使我所成为首批通过此认证的航空院所；“高覆盖率的电传控制系统软件系统级白盒测试技术”项目取得了国防技术成果奖，在同行业中填补了国内空白；获得了SCADE工具中国最佳用户的称号。,谢谢！,