开源的Web Service测试工具

Mario洁

Three open source Web service testing tools get high marks - Capable soapUI, TestMaker, and WebInject
toolsets shine once you conquer their learning curves

- Rick Grehan

    由于IT界对Web services的持续关注和偏爱，以及越来越多的Web-service构建工具的出现，Web servic
e变得更加容易创建，并且，很容易一团糟。
        Web service其实就是一些暴露给网络（不管是内网还是外网）的程序的集合。而一个Web service的
错误可能激怒的不仅仅是监视和维护着服务器的经理和管理员，还有调用了你的Web service的客户。要么
把你的Web service做好，要么等着两边的指责。
        在本文中，我会分析3款声称能验证你的Web services的正确性的工具：soapUI、TestMaker和WebInj
ect。三款都是开源的，能免费下载并整合到你的下一个Web services项目中去。
        需要注意的是：在使用这些工具之前你应该理解SOAP和HTTP协议。有些商业产品提供的是SOAP的“
伪代码”。把那些难于阅读的XML翻译成易读的伪代码，能帮助新手和有经验的SOAP用户明白某个SOAP请
求和响应之间发生的事情。这三款开源的Web service测试工具需要额外的工作，我推荐中等级别的开发人
员使用，学习曲线会适当地比商业产品的长。
SoapUI1.6
        我用的是1.6版本的soapUI，一款从Eviware而来的基于JAVA的工具。这个版本的soapUI在自己独立的
UI里执行；新的1.7版本包括NetBeans、InterlliJ和Eclipse的插件。


        用户界面遵循普遍的IDE架构设计：左边是导航面板，右边是内容面板，额外的属性面板放在底部。
如果你用过类似Visual Studio的IDE的话，你会发现使用soapUI很顺手。
        soapUI把工作组织成项目。每个项目主要由需要测试的接口来识别。在这里，接口是指另外一端的
指向一个暴露了Web service方法的站点的URI（统一资源标识）。你可以很快地创建一个基本的项目结构
；soapUI能接受一个文件的WSDL或者一个Web service终点传输的WSDL。
        项目被有层次结构地组织，并且包含一个或多个TestSuite，TestSuite包含一个或多个TestCase，Te
stCase包含一个或多个测试步骤。真正的工作 – 发送请求、接受响应、分析结果、改变测试执行流程 –
发生在测试步骤这个层面。TestCase收集和组织需要执行某个对目标的特定操作的步骤。TestSuite汇总那
些发生在某个特定区域的Web service的TestCase（例如订购一本书所需要的操作）。你可以通过右键点
击项目树中的父节点并选择上下文菜菜单中的“New”菜单，来创建新的TestSuite、TestCase和测试步骤。


soapUI通过检查附加给测试响应的断言来判断测试是通过还是失败。有大量的断言可供选择，从“sim
ple contains”测试 – 如果某个提供的字符串匹配则表示成功 – 到“XPath matching”，对响应信息执行
复杂的XPath表达式匹配成功则表示测试通过。



测试步骤与程序代码很类似。目前，soapUI定义了6个测试步骤类型，最普遍的是请求（Request），
发送一个HTTP请求给目标地址，并接收一个响应。可插入条件跳转测试步骤（Conditonal GoTo）来
控制流程。一个或多个检查最近的响应的Xpath表达式是必不可少的。第一个表达式的成功会导致相
关测试步骤分支的执行。




soapUI最强大的是Groovy测试步骤。Groovy是类Java的轻量级脚本语言。一个Groovy测试步骤可以
是任何Groovy代码，也就是说基本上Groovy能做的事情，在测试步骤中也能做。测试步骤中的Groo
vy代码可以访问soapUI框架。例如，一个Groovy测试步骤可以通过JDBC读取数据库的信息，与前一
个测试步骤的响应信息进行比较，并响应地修改执行的流程 – 甚至执行另外一个TestCase。



除了功能测试外，soapUI还能对Web service进行压力测试。每个压力测试包含一个或多个TestCase
的执行，并且可以调整用于模拟各种各样的场景。你可以指定测试执行一定量的时间长度，或者一定
量的迭代周期，指定以并发的方式执行还是随时间线性变化的方式。



当压力测试完成后，一个压力测试编辑器会为每个TestCase提供大量的统计数据：执行的次数，最大、
最小、平均执行时间等。还可以在统计图表页以图表的形式查看这些数据。



让soapUI运行起来很容易；能很快地构建一个基本的项目和基本的测试。我对这个工具不满的地方是：
在系统中没有上下文帮助，这让你在某些区域想知道可供选择的是什么变得困难。不管怎样，文档提
供的还是挺不错的，只要持续使用，一些最初的理解上的混淆都会慢慢消失。



TestMaker

TestMaker是PushToTest的一个Web service测试工具。它需要Java1.4或以上。我把TestMaker4.4安装
在Ubuntu Linux6.10，看Web service测试在Linux会是怎样的。安装很简单，一旦设置好JAVA_HOME环
境变量后，TestMaker启动和运行都没有问题。



TestMaker的测试是用称为“测试代理”（test agents）的脚本来完成的。TestMaker提供一个“代理向导”（
Agent Wizard）来读入WSDL定义并自动创建一个测试代理的基本结构。



需要指出的是：TestMaker不仅仅能测试Web services；它还能被用于测试Web应用程序。与TestMake
r绑定在一起的还有一个网络监视工具，能监视浏览器和目标Web应用之间的HTTP通信，并且从交互过
程中产生测试用例。然而，我没有体验那些功能，因为那与Web services的关系不大。



TestMaker的测试代理是用Jython（用Java写的Python）写的。这是把双刃剑。一方面，TestMaker的脚
本可以变得很强大，拥有编程能力。Jython可以访问所有Java库，还有TestMaker提供的类和方法。Tes
tMaker最大的库是TOOL（Test Object Oriented Library），它包括所有处理各种通讯协议的类：HTTP，
HTTPS、SOAP、JDBC等。因此，你可以创建很精细的测试用例来处理任何Web service可能被调用的客
户端应用。





另一方面，你需要掌握Jython来充分利用TestMaker，或者换句话说，你需要知道Python和Java。这未
必是件坏事，但是它绝对意味着TestMaker的学习曲线要比其他工具陡峭。



由代理向导（Agent Wizard）创建的基本的测试代理（test agent）是很简单的：它知道目标服务的Web
方法，并且执行不会出现错误，但是它没有真正执行任何请求、响应或者测试结果。我发现我需要检查
一个测试代理例子的源代码来填写缺少的内容。



一旦你跨越了陡峭的学习曲线，就可以很容易地通过拷贝、粘贴和调整已有的代码来创建新的测试。另
外，用户界面的用户体验很好。最开始启动TestMaker的时候，它会打开一个“QuickStart”窗口，在这里
，你可以运行代理向导（Agent Wizard），直接跳到测试代理提供的例子，或者深入阅读它的文档。Tes
tMaker的用户界面也是标准的多窗口IDE，左边是导航面板，右边是编辑区域，结果显示区域在右下端，
类导航视图界面在左下端。



TestMaker可以在命令行执行，因此，你的测试代理（test agent）可以被自动化系统执行。另外，TestM
aker还绑定了Apache Axis TCPMonitor工具，它让你可以监视某个端口的HTTP信息交换。这对于检查内部
请求/响应对来决定如何编写Jython测试代码时会很有用。





商业的TestMaker版本添加了XSTest，提供性能测试和容量测试（Scalabillity testing），一个监视面板提供
实时的结果，报告能力，还有TestNetWork – 能远程执行测试代理（test agent），因此，允许你搭建测试
代理服务器来同时测试目标Web应用程序。



TestMaker的文档很好，工具的感觉像专业的应用。但是，很难掌握和精通。需要留出大量时间来阅读指南
和分析那些例子的源代码。



WebInject

Mario洁

WebInject是一个极其轻量级的测试工具，能自动化测试Web services和Web应用程序。事实上，WebInje
ct能测试XML/SOAP Web Service好像是最近增加的功能，早期版本不能很好地处理SOAP协议。



WebInject首先是一个用Perl写的命令行工具，虽然它的作者提供了一个简单的Perl/Tk用户界面，至少简化
了测试的执行（对于某些人来说不愿意花太多的时间在命令行）。如果你不熟悉Perl，不要害怕。WebInj
ect的使用可以不用任何Perl代码。







WebInject其实是一个执行和报告引擎。不像其他工具，它没有IDE类型的用户界面，因此测试的编辑必须
在WebInject界面之外完成。这让人感觉WebInject没有那么专业，但是这不妨碍这个工具的使用，我可以
想象WebInject的用户都有一个目录存储了各种测试“模板”。新建一个测试的时候，这些用户只需要打开
他们最喜欢的编辑器，拷贝粘贴一些代码，调整一下就完成了一个新的测试用例。



当你运行WebInject时，它读入一个包含测试用例描述信息的XML文件。每个测试用例使用XML标签<case
…/>来描述。因此，一个简单的验证某个Web方法返回一个书名列表是否包含My Antnia的测试用例可能会
像下面的代码所示：

<case



   id=”5”



   description1 = “Verify My Antonia in list”



   method=”post”



   url=”Http://localhost:8080/axis/bkService.jsw”



   postbody=”file=>soapListTest.xml”



   posttype=”text/xml”



   addheader=”SOAPaction: urn:getBookList”



   verifypositive=”My Antonia”



/>



“id”属性不仅提供了测试用例的唯一名称，还标识了测试用例的执行顺序。其他的属性都是很直观易懂的
（只要你细读它的文档）。赋给“postbody”属性的值告诉WebInject取当前目录名为“soapListTest.xml”的
XML文件，并用它来组成SOAP请求的内容。



如果结果包含“My Antonia”字符串，则测试通过。WebInject提供了三个额外的“verifypositive”属性，每个
的值都被作为正则表达式处理。这意味着你可以创建很复杂的验证说明 – 更确切地说，你可以构建一个
测试步骤，只有通过4个正则表达式的过滤条件才算通过测试，每一个正则表达式对应一个“verifypositive
”属性”。一个测试用例元素还可以包括4个“verifynegative”属性，功能与“verifypositive”属性”相反，如果
任何一个正则表达式不匹配，则测试用例失败。



本质上，一个WebInject“项目”只是一连串的<case…/>组成的XML文件。WebInject的简单结构让你可以
非常快速地构建测试。但是你必须适当了解SOAP协议的机制，还需要一个工具帮助你捕获和产生HTTP/
SOAP请求和响应。你需要那些请求信息来构建POST的正文，需要那些响应信息来创建合适的“verifypos
itive”和“verifynegative”的正则表达式来检查测试是否成功。我使用Eclipse的Web Service工具包来为We
bInject获取请求和响应信息，一旦我掌握其中的诀窍，我觉得创建测试用例是很简单的事情。



对于每个测试用例的执行，WebInject的UI都会显示状态（通过或者失败）。你可以配置WebInject以提供
完整的HTTP请求和响应信息，这是一个非常有用的功能，如果你想在测试用例失败时调试的话。





除此之外，UI还能产生实时的图表，为每一对请求和响应产生往返时间的统计图表，因此你可以使用W
ebInject构建和监视性能测试。而且WebInject还为MRTG（Multi Routing Triffic Grapher）提供插件，MR
TG是一个网络监视和数据收集工具，允许你执行和捕获测试用例运行一段时间的结果，还能分析数据
的模式和趋势。



WebInject的最大特点是它的简单性。一旦你掌握了WebInject的XML命令的诀窍，你可以快速地构建、
修改和扩展测试用例。整个文档包含一个Web页面，这些信息可以在同一个地方读取到。但是，这个页
面的文档有时候也会让你感觉不知道如何进一步测试。此外，你需要适当了解SOAP协议，还有额外的
一个工具来提取Web Service响应信息的POST正文，以便创建测试用例。



为你效劳

这三款工具从快速和易用到复杂和强大的都有。如果你需要快速编码来测试你的Web service的话，We
bInject是个符合逻辑的选择；你将在一个下午的时间里测试你的Web service。如果你需要高端的工具
，让你可以创建强大的测试，可能扩展到其他的系统资源 – 文件系统、数据库、e-mail等的话，那么Tes
tMaker是最佳选择。但是首先要看看Jython，准备好艰难的学习过程。



我喜欢中间的soapUI。由soapUI的向导创建的基本测试结构比起TestMaker创建的要容易让其丰满起来。
而且如果我需要更复杂的测试，我还可以使用soapUI的Groovy。



如果说把这些产品与商业的Web service测试工具比较的话，我会说它们是大杂烩。它们虽然是免费的，
并且对于简单到中等复杂程度的工作而言工作得不错；但是另一方面，它们比商业工具在易用性方面要
弱些，你需要做一些复杂的工作，必须自己构建。TestMaker看起来比较接近商业工具，但是需要学习J
ython意味着需要更长的时间来构建测试。soapUI看起来没有那么专业，但是可以让你不需要编程就能
创建可用的测试。WebInject则是彻头彻尾的开发人员的工具。你需要懂得SOAP，才能很好地使用它，
并且能力也不会有soapUI或TestMaker那么强大，因为它的测试用例依赖模板驱动。





EviWare是一家专注于开源Web Service测试套件的瑞典公司，最近，他们在JavaPolis 2007会仪上发布了他
们的2.0版soapUI产品。这个工具提供了包含操作层面和模式层面的完整的WSDL覆盖程度分析，到达每个
元素的所有路径都被测试过了。 它提供了软件测试重构能力，这可以：使用户可以随着WSDLs的更新重构
他们所有的测试。软件测试重构甚至还考虑到了更新过的WSDLs会如何影响到您的XPath表达式。 soapUI
的需求管理功能可以将软件测试用例和需求有机的结合起来，其中需求可以被直接键入或者导入。

在这次发布中，从一个数据源得到测试数据已经成为可能。EviWare增加了一个DataSink功能，从测试响应
中得到的数据可以被添加到数据接收器（例如数据库，Excel或者csv文件等）中。

EviWare还引入了对基于用户名或X.509令牌的WS-Security 1.0 (2004年3月发布)规范的支持。这个发布可
以测试身份认证、数字签名以及加密。

该产品可以捕捉SOAP请求和响应来创建测试请求，测试用例和仿真的服务。

当软件测试用例互相依赖时，该产品支持创建测试链来管理参数的输入输出。

soapUI 有多种版本，特别还提供了eclipse插件。

Mike Jennings，一个北卡罗来纳大学教堂山分校的企业应用开发者，同时也是soapUI的用户，评价道：

这个工具在我对代码的问题（如我的客户端软件可能设置不正确）进行调试时有帮助，并且有助于我识别其
他用户的软件问题。这个客户端是免费使用的，并且是一个java webstart应用程序，所以它可以在任何系统
中运行。

Rick Grehan上个月在InfoWorld已经发表了一篇5个Web Services软件测试工具的分析文章。上周，Mindreef发
表了一篇易懂的手册，介绍了一个SOA测试方法论，这个手册他是与David Linthicum合著的。