测试自动化.ppt

《测试自动化.ppt》由会员分享，可在线阅读，更多相关《测试自动化.ppt（50页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、测试自动化现在学习的是第1页，共50页自动化测试基础自动化测试的意义自动化测试的定义和引入自动化测试的原理和方法自动化测试工具的作用及优势自动化测试存在的一些问题和限制 建立正确的自动化测试目标现在学习的是第2页，共50页自动化测试的意义通常，软件测试的工作量很大（据统计，测试会占用到40%的开发时间；一些可靠性要求非常高的软件，测试时间甚至占到开发时间的60%）。而测试中的许多操作是重复性的、非智力性的和非创造性的，并要求做准确细致的工作，计算机就最适合于代替人工去完成这样的任务。软件自动化测试是相对手工测试而存在的，主要是通过所开发的软件测试工具、脚本等来实现，具有良好的可操作性、可重复性

2、和高效率等特点。要理解为什么要进行自动化测试，可以从两个方面考虑：一是手工测试的局限性；二是软件自动化测试所带来的好处。现在学习的是第3页，共50页手工测试的局限性 通过手工测试无法做到覆盖所有代码路径。简单的功能性测试用例在每一轮测试中都不能少，而且具有一定的机械性、重复性，工作量往往较大。许多与时序、死锁、资源冲突、多线程等有关的错误，通过手工测试很难捕捉到。进行系统负载、性能测试时，需要模拟大量数据或大量并发用户等各种应用场合时，很难通过于工测试来进行。进行系统可靠性测试时，需要模拟系统运行10年、几十年，以验证系统能否稳定运行，这也是手工测试无法模拟的。如果有大量（几千）的测试用例，需

3、要在短时间内（1天）完成，手工测试几乎不可能做到。现在学习的是第4页，共50页自动化测试带来的好处缩短软件开发测试周期，可以让产品更快投放市场。测试效率高，充分利用硬件资源。节省人力资源，降低测试成本。增强测试的稳定性和可靠性。提高软件测试的准确度和精确度，增加软件信任度。软件测试工具使测试工作相对比较容易，且能产生更高质量的测试结果。手工不能做的事情，自动化测试能做，如负载、性能测试。软件测试实行自动化进程，绝不是因为厌烦了重复的测试工作，而是因为测试工作的需要，更准确地说是回归测试和系统测试的需要。现在学习的是第5页，共50页自动化测试的定义和引入自动化测试的定义：使用一种自动化测试工具来

4、验证各种软件测试的需求，它包括测试活动的管理与实施、测试脚本的开发与执行。在进行自动化测试前，首先要建立一个对软件测试自动化的认识观。软件测试工具能提高测试效率、覆盖率和可靠性等，自动化测试虽然具有很多优点，但它只是测试工作的一部分，是对手工测试的一种补充。自动化测试和手工测试的范围自动化测试绝不能代替手工测试，它们各有各自的特点，其测试对象和测试范围都不一样：在系统功能逻辑测试、验收测试、适用性测试、涉及物理交互性测试时，多采用黑盒测试的手工测试方法。现在学习的是第6页，共50页自动化测试的定义和引入单元测试、集成测试、系统负载测试、性能测试、稳定性测试、可靠性测试等比较适合采用自动化测试。

5、那种不稳定软件的测试、开发周期很短的软件、一次性的软件等不适合自动化测试。工具本身并没有想象力和灵活性，根据报道，自动化测试只能发现15的缺陷，而手工测试可以发现85的缺陷。自动化测试工具在进行功能测试时，其准确的含义是回归测试工具，这时工具不能发现更多的新问题，但可以保证对已经测试过部分的准确性和客观性。多数情况下，手工测试和自动化测试应该相结合，以最有效的方法来完成测试任务。现在学习的是第7页，共50页自动化测试的定义和引入通常，当软件开发过程具有下列情况时，就需要考虑引入自动化测试：1）测试用例的生成，包括测试输入、测试输出、测试操作指令等；2）测试的执行与控制，包括单机运行和网络多机分

6、布式的运行，在节假日的运行，测试个案调用控制，测试对象、测试范围与测试版本的控制等；3）测试结果与标准输出进行对比；4）不吻合预期的测试结果的分析、记录、分类和报告 5）总体测试状况的统计及报表的产生。现在学习的是第8页，共50页自动化测试的定义和引入 自动化测试应用 找准自动化测试的切入点 把测试开发纳入整个软件开发系统 自动化测试依赖测试流程和测试用例 软件测试自动化的投入较大 进行资源的合理调度现在学习的是第9页，共50页自动化测试的原理和方法软件测试自动化实现的基础是可以通过设计的特殊程序模拟测试人员对计算机的操作过程、操作行为，或者类似于编译系统那样对计算机程序进行检查。软件测试自动

7、化实现的原理和方法主要有：直接对代码进行静态和动态分析、测试过程的捕获和回放、测试脚本技术、虚拟用户技术和测试管理技术。1）代码分析 代码分析类似于高级语言编译系统，一般针对不同的高级语言去构造分析工具，在工具中定义类、对象、函数、变量等定义规则、语法规则；在分析时对代码进行语法扫描，找出不符合编码规范的地方；根据某种质量模型评价代码质量，生成系统的调用关系图等。现在学习的是第10页，共50页自动化测试的原理和方法2）捕获和回放 代码分析是一种白盒测试的自动化方法，捕获和回放则是一种黑盒测试的自动化方法。捕获是将用户每一步操作都记录下来。这种记录的方式有两种：程序用户界面的像素坐标或程序显示对

8、象（窗口、按钮、滚动条等）的位置，以及相对应的操作、状态变化或是属性变化。所有的记录转换为一种脚本语言所描述的过程，以模拟用户的操作。回放时，将脚本语言所描述的过程转换为屏幕上的操作，然后将被测系统的输出记录下来同预先给定的标准结果比较。捕获和回放可以大大减轻黑盒测试的工作量，在迭代开发的过程中，能够很好地进行回归测试。现在学习的是第11页，共50页自动化测试的原理和方法关于自动化测试中的“录制回放”技术 目前的自动化负载测试解决方案几乎都是采用“录制-回放”的技术。所谓的“录制-回放”技术，就是先由手工完成一遍需要测试的流程，同时由计算机记录下这个流程期间客户端和服务器端之间的通信信息，这些

9、信息通常是一些协议和数据，并形成特定的脚本程序(Script)。然后在系统的统一管理下同时生成多个虚拟用户，并运行该脚本，监控硬件和软件平台的性能，提供分析报告或相关资料。这样，通过几台机器就可以模拟出成百上千的用户对应用系统进行负载能力的测试。现在学习的是第12页，共50页自动化测试的原理和方法3）脚本技术 脚本是一组测试工具执行的指令集合，也是计算机程序的一种形式。脚本可以通过录制测试的操作产生，然后再做修改，这样可以减少脚本编程的工作量。当然，也可以直接用脚本语言编写脚本。脚本中包含的是测试数据和指令，一般包括如下信息：同步（何时进行下一个输入）。比较信息（比较什么，比较标准）。埔获何种

10、屏幕数据及存储在何处。从哪个数据源或从何处读取数据。控制信息等。现在学习的是第13页，共50页自动化测试的原理和方法脚本技术可以分为以下几类：线性脚本是录制手工执行的测试用例得到的脚本。结构化脚本类似于结构化程序设计，具有各种逻辑结构（顺序、分支、循环），而且具有函数调用功能。共享脚本是指某个脚本可被多个测试用例使用，即脚本语言允许一个脚本调用另一个脚本。数据驱动脚本将测试输入存储在独立的数据文件中。关键字驱动脚本是数据驱动脚本的逻辑扩展现在学习的是第14页，共50页自动化测试的原理和方法4）自动比较 静态比较和动态比较 简单比较和复杂比较 敏感性测试比较和健壮性测试比较 比较过滤器现在学习的

11、是第15页，共50页自动化测试工具的作用及优势软件测试自动化通常借助测试工具进行。测试工具可以进行部分的测试设计、实现、执行和比较的工作。部分的测试工具可以实现测试用例的自动生成，但通常的工作方式为人工设计测试用例，使用工具进行用例的执行和比较。如果采用自动比较技术，还可以自动完成测试用例执行结果的判断，从而避免人工比对存在的疏漏问题。自动化测试工具的作用：（1）确定系统最优的硬件配置。（2）检查系统的可靠性。（3）检查系统硬件和软件的升级情况。（4）评估新产品。现在学习的是第16页，共50页自动化测试工具的作用及优势 自动化测试工具的优势主要体现在以下几个方面：（1）记录业务流程并生成脚本程

12、序的能力。（2）对各种网络设备（客户机或服务器、其它网络设备）的模仿能力。（3）用有限的资源生成高质量虚拟用户的能力。（4）对于整个软件和硬件系统中各个部分的监控能力。（5）对于测试结果的表现和分析能力。现在学习的是第17页，共50页自动化测试存在的一些问题不正确的观念或不现实的期望 缺乏具有良好素质和有经验的测试人才测试工具本身的问题影响测试的质量 没有进行有效、充分的培训不考虑公司的实际情况、盲目引入测试工具没有形成一个良好的测试工具使用环境其他技术问题和组织问题现在学习的是第18页，共50页测试自动化限制测试自动化可以带来非常明显的收益，但也有以下限制：不能取代手工测试 手工测试比自动测

13、试发现的缺陷更多 对测试质量的依赖性极大 测试自动化不能提高有效性 测试自动化可能会制约软件开发。工具本身并无想象力 另外，人工测试比测试工具更优越的另一个方面是可以处理意外事件。虽然工具也能处理部分异常事件，但是对真正的突发事件和不能由软件解决的问题就无能为力。现在学习的是第19页，共50页建立正确的自动化测试目标 目前，软件自动化测试还不能解决所有的测试问题，因此，需要建立正确的自动化测试目标。测试计划产生：主要靠测试工程师与软件生产质量保证 专家的合作，自动化工具只能起到一定的辅助作用。一种测试工具不完全适用于所有测试 自动测试不一定减轻工作量 测试进度可能不一定缩短 测试工具不一定易于

14、使用 自动化测试的普遍应用存在局限 测试覆盖率不会达到百分之百现在学习的是第20页，共50页软件自动化测试工具简述 自动化测试工具的特征 自动化测试工具的分类选择自动化测试工具常用测试工具概要现在学习的是第21页，共50页自动化测试工具的特征支持脚本化语言(Scripting Language)对程序界面中对象的识别能力支持函数的可重用 支持外部函数库抽象层将程序界面中的对象实体映射成逻辑对象分布式测试(Distributed Test)的支持 支持数据驱动测试(Data-Driven Test)错误处理调试器(Debugger)源代码管理 支持脚本的命令行(Command Line)方式现在

15、学习的是第22页，共50页自动化测试工具的分类测试工具可以从两个不同的方面去分类。根据测试方法不同，自动化测试工具可以分为：白盒测试工具、黑盒测试工具根据测试的对象和目的，自动化测试工具可以分为：单元测试工具、功能测试工具、负载测试工具、性能测试工具、Web测试工具、数据库测试工具、回归测试工具、嵌入式测试工具、页面链接测试工具、测试设计与开发工具、测试执行和评估工具、测试管理工具等现在学习的是第23页，共50页白盒测试工具白盒测试工具一般是针对被测源程序进行的测试，测试所发现的故障可以定位到代码级。根据测试工具工作原理的不同，白盒测试的自动化工具可分为静态测试工具和动态测试工具。静态测试工具

16、是在不执行程序的情况下，分析软件的特性。静态分析主要集中在需求文档、设计文档以及程序结构方面。按照完成的职能不同，静态测试工具包括以下几种类型：(1)代码审查 （2）静态结构分析 （3）代码质量度量 (2.1)一致性检查 (2.2)错误检查 (2.3)接口分析 (2.4)输入输出规格说明分析检查 (2.5)数据流分析 (2.6)类型分析 (2.7)单元分析 常用的动态工具有：Telelogic公司的Logiscope软件 PR公司的PRQA软件现在学习的是第24页，共50页白盒测试工具 动态测试工具是直接执行被测程序以提供测试活动。它需要实际运行被测系统，并设置断点，向代码生成的可执行文件中插

17、入一些监测代码，掌握断点这一时刻程序运行数据（对象属性、变量的值等），具有功能确认、接口测试、覆盖率分析、性能分析等性能。动态测试工具可以分为以下几种类型：(1)功能确认与接口测试 (2)覆盖测试 (3)性能测试 (4)内存分析 常用的动态工具有：Compuware公司的DevPartner IBM公司的 Rational Purify现在学习的是第25页，共50页黑盒测试工具 黑盒测试工具是在明确软件产品应具有的功能的条件下，完全不考虑被测程序的内部结构和内部特性，通过测试来检验软件功能是否按照软件需求规格的说明正常工作。按照完成的职能不同，黑盒测试工具可以分为：功能测试工具用于检测程序能否

18、达到预期的功能要求并正常运行。性能测试工具用于确定软件和系统的性能。常用的黑盒测试工具有：Compuware公司的QACenter IBM公司的Rational TeamTest 现在学习的是第26页，共50页测试管理工具测试管理工具用于对测试过程进行管理，帮助完成制定测试计划，跟踪测试运行结果。通常，测试管理工具对测试计划、测试用例、测试实施进行管理，还包括缺陷跟踪管理等。常用的测试管理工具有：IBM公司的Rational Test Manager 测试管理工具包括以下内容：测试用例管理缺陷跟踪管理（问题跟踪管理）配置管理现在学习的是第27页，共50页选择自动化测试工具测试人员在选择和使用自

19、动化测试工具时，可以从以下角度来考虑：按照用途选择匹配的测试工具 在适当的生命周期选择测试工具按照测试人员的实际技能选择匹配的测试工具选择一个可提供的测试工具现在学习的是第28页，共50页常用测试工具目前，软件测试方面的工具很多，主要有MercuryInteractive（MI）、Rational、Compuware、Segue和Empirix等公司的产品，而MI公司和Rational公司的产品占了主流。现在学习的是第29页，共50页Mercury公司测试工具 Mercury（美科利，http:/）质量中心：提供一个全面的、基于Web的集成系统，可在广泛的应用环境下自动执行软件质量管理和测试。

20、其主要产品如下：Winrunner：是一种企业级的用于检验应用程序是否如期运行的功能性测试工具。通过自动捕获，检测，和重复用户交互的操作，WinRunner 能够辨认缺陷并且确保那些跨越多个应用程序和数据库的业务流程在初次发布就能避免出现故障，并且保持长期可靠运行。Loadrunner：是一种预测系统行为和性能的负载测试工具。通过以模拟上千万用户实施并发负载及实时性能监测的方式来确认和查找问题，LoadRunner 能够对整个企业架构进行测试。通过使用LoadRunner，企业能最大限度地缩短测试时间，优化性能和加速应用系统的发布周期。现在学习的是第30页，共50页Mercury公司测试工具

21、TestDirector：是基于Web的测试管理解决方案，它可以在公司内部进行全球范围的测试协调。TestDirector能够在一独立的应用系统中提供需求管理功能，并且可以把测试需求管理于测试计划、测试日程控制、测试执行和错误跟踪等功能融合为一体，因此极大地加速了测试的进程。TestDirector提供完整且无限制的测试管理框架，实现对应用测试全部阶段的管理与控制。QuickTest Professional：:是一个功能测试自动化工具，主要应用在回归测试中。QuickTest针对的是GUI应用程序，包括传统的Windows应用程序，以及现在越来越流行的Web应用。它可以覆盖绝大多数的软件开发

22、技术，简单高效，并具备测试用例可重用的特点。其中包括：创建测试、插入检查点、检验数据、增强测试、运行测试、分析结果和维护测试等方面。现在学习的是第31页，共50页Rational公司测试工具现在学习的是第32页，共50页Rational公司测试工具Rational（http:/ Functional Tester：对 Java、Web 和基于 VS.NET WinForm 的应用程序进行高级自动化功能测试。Rational Functional Tester Extension for Terminal-based Applications：扩展了Rational Functional Tes

23、ter，以支持基于终端的应用程序的测试。Rational Manual Tester：使用新测试设计技术来改进人工测试设计和执行工作。Rational Performance Tester：检查可变多用户负载下可接受的应用程序响应时间和可伸缩性。Rational Purify for Linux and UNIX：为 Linux 和 UNIX提供了内存泄漏和内存损坏检测。Rational Purify for Windows：为 Windows 提供了内存泄漏和内存损坏检测。现在学习的是第33页，共50页Rational公司测试工具 Rational PurifyPlus 企业版企业版：为 W

24、indows、Linux 和 UNIX 提供了运行时分析。Rational PurifyPlus for Linux and UNIX：为 基于 Linux 和 Unix 的 Java 和 C/C+开发提供了分析工具集。Rational PurifyPlus for Windows：为基于 Windows的Java、C/C+、Visual Basic 和 托管.NET 开发提供了运行时分析。Rational Robot：客户机/服务器应用程序的通用测试自动化工具。可以对使用各种集成开发环境(IDE)和语言建立的软件应用程序，创建、修改并执行自动化的功能测试、分布式功能测试、回归测试和集成测试。

25、Rational TestManager：提供开放、可扩展的测试管理。Rational Test RealTime：支持嵌入式和实时的跨平台软件的组件测试和运行时分析。现在学习的是第34页，共50页Compuware公司测试工具 Compuware（http:/）公司的QACenter家族集成了一些强大的自动工具，这些工具符合大型机应用的测试要求，使开发组获得一致而可靠的应用性能。QACenter帮助所有的测试人员创建一个快速，可重用的测试过程。这些测试工具自动帮助管理测试过程，快速分析和调试程序，包括针对回归，强度，单元，并发，集成，移植，容量和负载建立测试用例，自动执行测试和产生文档结果。

26、QACenter主要包括以下几个模块：QARun：应用的功能测试工具。QALoad：强负载下应用的性能测试工具。QADirector：测试的组织设计和创建以及管理工具。TrackRecord：集成的缺陷跟踪管理工具。EcoTools：高层次的性能监测工具。现在学习的是第35页，共50页Segue公司测试工具 segue 公司的SilkTest（http:/）：是业界领先的、用于对企业级应用进行功能测试的产品，可用于测试Web、Java或是传统的C/S结构。SilkTest提供了许多功能，使用户能够高效率地进行软件自动化测试。这些功能包括：测试的计划和管理；直接的数据库访问及校验；灵活、强大的4

27、Test脚本语言，内置的恢复系统(Recovery System)；以及具有使用同一套脚本进行跨平台、跨浏览器和技术进行测试的能力。现在学习的是第36页，共50页Radview公司测试工具 Radview公司的TestView系列Web性能测试工具和WebLoad Analyzer性能分析工具，旨在测试Web应用和Web服务的功能、性能、程序漏洞、兼容性、稳定性和抗攻击性，并且能够在测试的同时分析问题原因和定位故障点。整套Web性能测试和分析工具包含两个相对独立的子系统：Web性能测试子系统、Web性能分析子系统。其中Web性能测试子系统包含3个模块：TestView Manager、WebF

28、T以及WebLoad。Web性能分析子系统只有WebLoad Analyzer。现在学习的是第37页，共50页其他公司测试工具 AdventNet公司的 QEngine（http:/）：是一个应用广泛且独立于平台的自动化软件测试工具，可用于Web功能测试、web性能测试、Java应用功能测试、Java API测试、SOAP测试、回归测试和Java应用性能测试。支持对于使用HTML、JSP、ASP、.NET、PHP、JavaScript/VBScript、XML、SOAP、WSDL、e-commerce、传统客户端/服务器等开发的应用程序进行测试。此工具以Java开发，因此便于移植和提供多平台支

29、持。现在学习的是第38页，共50页其他公司测试工具美国IXIA公司的应用层性能测试软件IxChariot是一个独特的测试工具，也是在应用层性能测试领域得到业界认可的测试系统。对于企业网而言，IxChariot可应用于设备选型、网络建设及验收、日常维护等3个阶段，提供设备网络性能评估、故障定位和SLA基准等服务。IxChariot由两部分组成：控制端（Console）和远端（Endpoint），两者都可安装在普通PC或者服务器上，控制端安装在Windows操作系统上，远端支持各种主流的操作系统。控制端为该产品的核心部分，控制界面（也可采用命令行方式）、测试设计界面、脚本选择及编制、结果显示、报告

30、生成以及API接口提供等都由控制端提供。远端根据实际测试的需要，安装在分布的网络中，负责从控制端接收指令、完成测试并将测试数据上报到控制端。现在学习的是第39页，共50页一些开源测试工具 功能测试工具Linux Test Project（http:/ Test Project是一个测试Linux内核和内核相关特性的工具集合。该工具的目的是通过把测试自动化引入到Linux内核测试，提高Linux的内核质量。使用环境:LinuxMaxQ（http:/maxq.tigris.org/）：MaxQ是一个免费的功能测试工具。它包括一个HTTP代理工具，可以录制测试脚本，并提供回放测试过程的命令行工具。测

31、试结果的统计图表类似于商用测试工具，比如Astra QuickTest和Empirix e-Test，这些商用工具都很昂贵。MaxQ希望能够提供一些关键的功能，比如HTTP测试录制回放功能，并支持脚本。使用环境:Java 1.2以上版本WebInject（http:/www.webinject.org/）：WebInject是一个针对Web应用程序和服务的免费测试工具。它可以通过HTTP接口测试任意一个单独的系统组件。可以作为测试框架管理功能自动化测试和回归自动化测试的测试套。使用环境:Windows,OS Independent,Linux现在学习的是第40页，共50页一些开源测试工具 单元

32、测试工具 JUNIT（CppUnit）：JUnit是一个开源的java测试框架，它是Xuint测试体系架构的一种实现。在JUnit单元测试框架的设计时，设定了三个总体目标，第一个是简化测试的编写，这种简化包括测试框架的学习和实际测试单元的编写；第二个是使测试单元保持持久性；第三个则是可以利用既有的测试来编写相关的测试。使用环境:Windows,OS Independent,Linux现在学习的是第41页，共50页一些开源测试工具性能测试工具Apache JMeter（http:/jakarta.apache.org/jmeter/）：Apache JMeter是100的Java桌面应用程序，它

33、被设计用来加载被测试软件功能特性、度量被测试软件的性能。设计Jmeter的初衷是测试Web应用，后来又扩充了其它的功能。Jmeter可以完成针对静态资源和动态资源（讹误女监,Servlets,Perl脚本,Java对象,数据查询s,FTP服务等）的性能测试。Jmeter可以模拟大量的服务器负载、网络负载、软件对象负载，通过不同的加载类型全面测试软件的性能。Jmeter提供图形化的性能分析。使用环境:Solaris,Linux,Windows(98,NT,2000).JDK1.4以上.DBMonster（http:/dbmonster.kernelpanic.pl/）：DBMonster是一个生

34、成随机数据，用来测试SQL数据库的压力测试工具。使用环境:OS Independent 现在学习的是第42页，共50页一些开源测试工具OpenSTA(Open System Testing Architecture)（http:/portal.opensta.org/index.php）：基于CORBA的分布式软件测试构架。使用OpenSTA，测试人员可以模拟大量的虚拟用户。OpenSTA的结果分析包括虚拟用户响应时间、web服务器的资源使用情况、数据库服务器的使用情况，可以精确的度量负载测试的结果。使用环境:OS Independent TPTEST（http:/ Web Applicati

35、on Load Simulator（http:/www.openware.org/loadsim/index.html）：LoadSim是一个网络应用程序的负载模拟器。使用环境:JDK 1.3以上 现在学习的是第43页，共50页一些开源测试工具 缺陷管理工具 Mantis（http:/ Bugzilla（http:/www.mozilla.org/projects/bugzilla/）：一款软件缺陷管理工具。使用环境:TBC 现在学习的是第44页，共50页一些开源测试工具 测试管理工具 TestLink（http:/ Bugzilla Test Runner（http:/ Test Runner基于Bugzilla缺陷管理系统的测试用例管理系统。使用环境:Bugzilla 2.16.3 or above (bugzilla是一个可以发布bug以及跟踪报告bug进展情况的开源软件)现在学习的是第45页，共50页软件测试的发展历程 初始阶段 定义阶段 集成阶段现在学习的是第46页，共50页现在学习的是第47页，共50页现在学习的是第48页，共50页现在学习的是第49页，共50页现在学习的是第50页，共50页