项目(产品)系统测试分析报告.doc

文档号 密级 内部 版本号 2 0 系统 系统测试分析报告 撰写 审核 测试中心 日期 修订历史记录 创建 修改 质量审核 版本 创建 修改人 时间 创建 修改 审核人 时间 结果 2 0 创建 审核不通过 请按 批注修改内容 2 0 修改 审核通过 目 录 1 简介 4 1 1 目的 4 1 2 背景 4 1 3 测试工具 5 1 4 测试工具 6 2 测试内容概要 7 3 测试结果及发现 10 3 1 测试结果 10 3 1 1 功能测试 10 3 1 2 数据和数据库完整性测试 11 3 1 3 用户界面测试 12 3 1 4 安全性和访问控制测试 12 3 1 5 性能测试 13 4 对软件的结论 14 4 1 软件功能 14 4 2 软件安全性 14 4 3 软件容错性 14 4 4 软件性能 14 5 分析摘要 15 5 1 能力 15 5 2 缺陷和限制 15 5 2 1 缺陷的严重级别分布 15 5 2 2 缺陷状态分布 16 5 2 3 产品各模块缺陷分布 17 5 2 4 系统 限制 18 5 2 5 缺陷密度的分布 18 5 3 评价 18 1 简介 项目名称 系统 以下简称 系统 系统主要包括 系统服务器 Web 服务器 是一种无客 户端软件纯 Web 模式交流平台 适合广域网上提供客户服务和咨询服务办公模式 系统是为了支持 M2M 网站系统的在线客服功能 实现 M2M 网站访客与 网站管理员进行在线交流 同时 系统也是网上交互平台 实现即时交流 咨询和服务等 实现 了网上即时客服功能 实现了企业产品的售前 售后服务功能 由原来电话咨询服务转为 网上在线咨询和服务模式 为企业节省了服务费用 同时也为用户咨询和服务带来方便 1 1 目的 本功能测试报告的编写目的在于统计量化 系统的错误和存在的问题 通过分析错误产生的原因和错误的分布特征 发现软件的缺陷和限制 从而对模块的质量 做出一个客观有效的评价 本测试报告的预期读者是 系统的软件开发人员 项目管理人员 研发管 理人员 测试经理 测试人员 维护人员 1 2 背景 产品名称 系统 以下简称 系统 软件开发者 开发中心 具体测试环境描述如下 表 1 1 测试环境表 软件环境 相关软件 操作系统等 服务器端 操作系统 Windows XP SP2 mysql5 Tomcat5 5 25 JDK1 6 03 版本 客户端 操作系统 Windows XP SP2 浏览器 MicroSoft IE6 0 硬件环境 网络 设备等 服务器配置 PC 机 配置 Intel R Pentium R 4 CPU 1 60GHz 1 00GB 内存 客户端配置 PC 机 配置 Intel R Pentium R 4 CPU 1 60GHz 1 00GB 内存 网络环境 采用 10 100M 办公网 1 3 测试工具 下表列出了测试使用的工具 表 1 2 测试工具使用表 用途 工具 生产厂商 自产 版本 BUG 管理 TestDirector8 0 Mercury Interactive 8 0 文档书写 Officer 2003 2000 Microsoft 2000 配置管理工具 TortoiseSVN 开源 1 3 5 测试管理工具 TestDirector Mercury Interactive 8 0 自动化测试工具 LoadRunner HP 8 0 开发 IDE Eclipse 免费 3 2 1 4 测试工具 表 1 3 测试参考文档 文档 已创建或可用 已被接收或已 经过复审 作者或来源 备注 快速入门手册 是 否 是 否 需求分析报告 是 否 是 否 用户使用手册 是 否 是 否 技术白皮书 是 否 是 否 安装手册 是 否 是 否 2 测试内容概要 以下测试内容概要以测试类型划分 主要总结了 系统的测试内容 表 2 1 功能测试概要 测试项 计划测试内容 实际测试内容 变更原因 访客名称予以区别 避免客 服人员在同时应对多个咨询 时 弄乱客户次序 访客名称予以区别 避免客 服人员在同时应对多个咨询 时 弄乱客户次序 对话窗口的设置发送快捷键 对话窗口的设置发送快捷键 客服端的附件发送功能 可 直接为客户提供资料帮助 也方便客户直接提供问题图 片 更加直观 客服端的附件发送功能 可 直接为客户提供资料帮助 也方便客户直接提供问题图 片 更加直观 客服能准确接收到访客信息 客户能准确接收到客服回话 客服之间会话准确没有错乱 客服能准确接收到访客信息 客户能准确接收到客服回话 客服之间会话准确没有错乱 客户能正确看到客服列表和 信息 客服能准确看到客服列表的 信息 客户能正确看到客服列表和 信息 客服能准确看到客服列表的 信息 访客离线后 在客服会话端 提示访客的离线信息 并限 制客服对离线的访客进行回 复 访客离线后 在客服会话端 提示访客的离线信息 并限 制客服对离线的访客进行回 复 客户端 允许一个客服同时属于几个 不同的组 并且能正确显示 允许一个客服同时属于几个 不同的组 并且能正确显示 个人信息和上线 下线的信 息 个人信息和上线 下线的信 息 客服上线 下线后 客服和 客户看到的客服列表都能即 时显示当前状态 客服上线 下线后 客服和 客户看到的客服列表都能即 时显示当前状态 后台保存会话记录 后台保存会话记录 对保存的会话记录进行删除 对保存的会话记录进行删除 根据用户名称 昵称模糊查 询 根据用户名称 昵称模糊查 询 对用户的信息进行更新 对用户的信息进行更新 查看当前在线用户的名单 查看当前在线用户的名单 管理端 可以断开在线用户的连接 使其下线 可以断开在线用户的连接 使其下线 表 2 2 数据和数据库完整性测试概要 测试项 计划测试内容 实际测试内容 变更原因 数据正确性 数据读出 写入的正确性 数据读出 写入的正确性 数据库完整 性 存入数据库中的数据查看是 否完整 存入数据库中的数据查看是 否完整 表 2 3 用户界面测试概要 测试项 计划测试内容 实际测试内容 变更原因 用户整体界 面风格一致 通过各种访问方法 Tab 键 鼠标移动 的使用核实以下 内容 界面信息 界面布局 界面控制 链接 按钮等 通过各种访问方法 Tab 键 鼠标移动 的使用核实以下 内容 界面信息 界面布局 界面控制 链接 按钮等 图形界面的 对象和特征 都符合标准 窗口的对象和特征 如 菜 单 大小 位置 状态和中 心 都符合标准 具有灵活 性 正确性 直观性 实用 性 一致性要素 窗口的对象和特征 如 菜 单 大小 位置 状态和中 心 都符合标准 具有灵活 性 正确性 直观性 实用 性 一致性要素 表 2 4 安全性和权限访问测试概要 测试项 计划测试内容 实际测试内容 变更原因 核实用户只能访问其所属用 户类型已被授权访问的那些 功能或数据 没有进行测试 测试时未 提供该功 能安全性和访 问控制测试 核实只有具备系统和应用程 序访问权限的用户才能访问 系统和应用程序 没有进行测试 测试时未 提供该功 能 表 2 5 性能测试概要 测试项 计划测试内容 实际测试内容 变更原因 性能评测 用自动化测试软件对被测系 统进行压力测试 用自动化测试软件对被测系 统进行压力测试 负载测试 测试系统在一定的饱和状态 下系统的处理能力 测试系统在一定的饱和状态 下系统的处理能力 3 测试结果及发现 3 1 测试结果 3 1 1 功能测试 采用黑盒测试 手工测试的手段对于测试计划所罗列的各项功能进行查看 检测 检 查所有的按钮和链接能够完全实现 在测试过程采用了行之有效的数据来执行 经过三轮 的测试 现确定功能列表中的所有功能以及系统的各项节点 菜单 按钮 列表功能等 能正 确实现本功能 表 3 1 1 功能测试现存问题 ID 严重程度 责任 人 最终状态 模块 问题描述 程序员答复意见 1 2 Medium Later 客户端 客户端看不到客服即时 登陆或者下线的信息 客服列表不会自动更新 暂不修改 23 2 Medium Later 客户端 一个客服在输入框中输 入信息时 如果这时有 另一个人发送消息过来 在前一个输入框中正输 入的信息将显示成英文 暂不修改 ie焦点 不好处理 28 1 Low Later 客户端 下载文件的话时候 没 有成功与否的任何提示 和进度显示 文件下载得实现 调用的是IE提供 的下载方式 目 前IE提供的功能 就是这样的 不 做处理 29 1 Low Later 客户端 上传文件时 没有确认 对方接受是否成功的提 示 发完文件就没有反 映了 功能设计如此 文件上传成功后 在发送方有成功 的消息提醒 接 收方同样有文件 的消息提醒 不 提供额外的提示 34 2 Medium Later 客户端 yurunhong 登录会出现图pic01 的错误 无法再现 暂不修改 45 2 Medium Later 客户端 ie7 出现脚本错误 目前 不支持IE7 暂不修改 3 1 2 数据和数据库完整性测试 通过发送的消息和保存记录得正确性的检查 确保写入数据库中的数据完全正确 并 通过测试管理端对数据库中记录的操作 检测数据库数据的正确和完整性 并在传递附件 时 测试附件传送后得完整性 这样数据完整性测试已经归类到了功能测试范畴 表 3 1 2 数据和数据库完整性测试现存问题 ID 严重程度 责任 人 最终状态 模块 问题描述 程序员答复意见 6 2 Medium Later 客户端 第一次上传文件后 客服 接收方的窗口原来的对话 都看不到了 而且客服再 说的话 客户收不到了 ie禁止了附件下 载功能的提示 个别机器有这个 问题 可能是某 些插件引起 或 者需要修改ie的 参数配置 暂不 处理 40 2 Medium Later 管理端 偶尔出现某普通用户已经 下线后 客服那里没有收 到离线提示 可能与IE设置 或者IE插件有关 系 原因不明确 暂不处理 3 1 3 用户界面测试 采用黑盒测试 手工测试的手段通过各种访问方法 Tab 键 鼠标移动 和快捷键 的使用核实用户整体界面风格一致 图形界面的对象和特征 菜单 大小 位置 状态和 中心 符合测试标准 在测试过程采用了行之有效的数据来执行 确定了所有 UI 测试点 现确定核实出各个窗口都与设计要求一致 符合标准和规范 表 3 1 3 用户界面测试现存问题 ID 严重程度 责任 人 最终状态 模块 问题描述 程序员答复意见 15 2 Medium Later 服务端 从图片编辑列表中选择图 片 但是在输入框中不能 显示添加的图片 也无法 复制图片在输入框中 目前不提供在输 入框中显示表情 图片的功能 39 1 Low Later 客户端 下载文件时 会弹出一个 空页面 此界面没有任何 的功能 建议去掉此界面 对视频文件的格式和音频 文件 war 格式在下载时 有此现象 针对特殊类型的 文件 再作处理 3 1 4 安全性和访问控制测试 用户应该只能访问其所属用户类型已被授权访问的那些功能或数据 测试结果与此要 求相符合 只有具备系统和应用程序访问权限的用户才能访问系统和应用程序 在访问系 统前需要身份验证对用户访问的控制 测试结果与此要求相符合 系统有超时限制 时间 由管理员设定 当用户长时间不对系统操作 用户不能再对系统进行操作需要重新登录 该项满足安全性的要求 3 1 5 性能测试 本次测试中的性能测试是指模拟实际应用的软硬件环境及用户使用过程的系统负荷 长时间运行测试软件来测试系统的可靠性 同时还要测试被测系统的响应时间 与性能测 试计划之预期性能指标对比 表 3 1 4 性能测试现存问题 ID 严重程度 责任 人 最终状态 模块 问题描述 程序员答复意见 43 2 Medium Later 客户端 性能测试在 7 个人并发 采用外部 ip 访问时 出 现如图 401 所示的问题 网络太慢原因 暂不修改 44 2 Medium Later 客户端 性能测试 7 个人并发操作 采用外部 ip 时 出现如 图 402 所示的错误 网速太慢 暂不 修改 4 对软件的结论 4 1 软件功能 系统功能需求中的基本功能已经可以实现 现有功能还存在一点缺陷 还需 要进一步修改和完善 4 2 软件安全性 从身份验证对用户访问的控制 系统有超时限制等几个方面对于安全性和访问控制进 行测试 测试结果基本符合测试要求 可以进行批量销售 4 3 软件容错性 对输入数据为规定类型以外的数据容错性 输入超出规定数据范围的容错性 非正常 操作 等测试 对输入数据为规定类型以外的数据容错性 输入超出规定数据范围的容错 性等测试 目前此方面 bug 已经改正 基本没有问题 4 4 软件性能 根据相应性能的策略完成了 系统性能测试 在测试的软 硬件以及相关的配 置环境下 该软件基本已经达到了预期性能指标和设计目标 测试结果基本符合测试要求 可以交付用户使用 详见性能测试报告 5 分析摘要 5 1 能力 根据测试计划与相应的策略完成了 系统各项计划中的测试 目前 系统 在测试的软 硬件以及相关的配置环境下 基本已经达到了预期目标 测试结果基本符合 测试需求 可以交付用户使用 该版本基本功能能够正确实现 该软件还存在一些建议性的问题和设计缺陷 还需要在下一版本中继续修改继续完善 系统 性能方面能够满足需求条件 5 2 缺陷和限制 5 2 1 缺陷的严重级别分布 截止到 年 9 月 14 日测试结束 年 8 月 22 日版本 存在缺陷统计如下 表 5 2 2 缺陷状态分布 5 2 3 产品各模块缺陷分布 5 2 4 系统限制 现在的系统不支持 Tomcat5 5 25 以下的 Tomcat 版本 也不支持 JDK1 6 03 以下的 JDK 版本 不符合现在的 系统要求 5 2 5 缺陷密度的分布 下面为各等级的缺陷分布状况 和缺陷更改状况 可以看出产品没有严重的 bug 出现 说明产品功能还是基本稳定的 而且从 bug 的修改比例可以看出 产品的遗留问题符合要 求 产品可以投入使用 图 整体缺陷分布采集表 缺陷类别 1 Low 2 Medium 3 High 4 VeryHigh 5 Urgent 缺陷总数 缺陷个数 11 15 11 0 0 37 所占百分比 29 73 40 54 29 73 0 0 100 00 修复的缺陷数 9 11 8 0 0 28 残留的缺陷数 2 4 3 0 0 9 缺陷清除率 81 82 73 33 72 73 100 00 100 00 75 67 5 3 评价 总体测试评价 经过测试组按照即定的测试规程 进行了软件的功能测试 兼容性测试 用户界面友好 性测试 数据准确性测试 1 按照确认准则中关于产品化验收测试的描述完成了产品化验收测试 2 达到了确认准则中关于产品化验收测试所规定的要求 3 系统和相关产品化资料满足用户需求说明书内容 达到 产品需求规格说明书 要求 4 缺陷状态为 closed 或 later 状态 5 在产品化验收测试中发现的错误已经得到修改 各级缺陷修复率达到标准 6 最终产品达到质量目标中的测试总体通过标准 测试组认为该软件基本符合公司的测试标准要求 满足系统的需求 用户界面友好易用 总体性能合格 同意该产品通过产品验收测试 测试中心 年九月十八日