做自动化测试这一年的感悟

wonderful4228

2013年1月份我调到了自动化天堂的项目组--REGRESSION TEAM做自动化. 没有人告诉你应该怎么做，于是我还是按照老思路用着QTP单枪匹马的干。
由于原来吃过没有计划的亏我决定还是先做个计划，并且把这个计划告诉客户。这份计划大概是到2013年底能自动化几个小APP，能省不到100小时之类的。客户没什么反馈（我猜他们当时也不知道怎么做才是对的），我也就按部就班的按照计划做了起来。大概到了3月份的某一天BOSS把我叫到办公室，我一看屏幕打开的正是我做的PLAN。“你一年省不到100小时，你知不知道你工作一年是多少小时？”，我当时哑口无言。“你这样下去不行啊，得想想怎么干下去啊。” 又给我讲了很多工作低谷的道理云云。。。
我沮丧的离开了老大办公室心想这回又干砸了，这以后应该怎么干哪？！
说话间可就到了5月份，年中REVIEW。PM找我谈话，说我没完成工作任务，没有给TEAM带来多大作用。当时感觉很委屈，心想你也没给我什么指导啊，你也不知道怎么做不是吗？！现在想想，作为专业的自动化测试人员领,导或者TEAM对你的期待很高，他们认为你是专业人员你就得什么都知道。这其中既包括技术更包括如何做自动化的策略。不得不承认做了两年自动化测试从没真正的想过怎样做好自动化测试。想的都是技术细节，如何实现。没有从大层面上考虑究竟自动化测试会给TEAM带来哪些好处。我想这也是很多做技术的人的通病。
痛定思痛，我决定要好好想想怎样做才能最大限度的发挥自动化的作用。随着年初美国那边开始大力推广SAHI的使用，有几个手动测试人员参加了SAHI的培训。
由于SAHI比QTP更容易上手，更适合WEB测试很快大家都能进行简单的录制回放了。看到大势所趋，我也开始学起了SAHI。随着SAHI的使用我越来越感觉到了SAHI的优势。请参照我的这篇文章：http://www.51testing.com/html/84/n-850484.html
我就想既然SAHI这么容易上手为什么不让大家一起来做自动化那？哪怕我们是录制回放。于是我跟leader谈了这个想法，她也觉得手动人员能学一些自动化可以提高工作热情，也想试试这个方案。我们一拍即合，于是5月，6月我给全组的人做了SAHI的培训，同时做了2013和2014年的计划。我们组算我9个人，人多力量大这计划看着就很有分量，到2014年我们预期实现自动化80%的测试用例，省3~4个人力。
方案一出大家热情很高涨，纷纷在空闲时间录制脚本（原来空闲时间可能上上网，这也是全民做自动化的一个好处）。到了7月份我们已经积累了很多脚本，我有天看了一篇文章，说应该怎样工作。说工作就需要几点就能做好，一是做计划，做完计划做跟踪，跟踪过程中及时汇报。我对比了我们当前的状态才发现我们没有跟踪，于是7月份我做了一个表格统计大家的自动化数据。大概有如下几项：录制了多少脚本，用了多长时间，如果手动做这些case需要多长时间。（后期我们还加上了维护的时间，维护的原因，多少脚本从录制转成了workflow/使用了框架）。之后每个月我们都用这个表格跟踪大家的完成情况，适当调整。
8月份，随着SAHI的使用我们也遇到了很多技术问题，不能通过录制的方式解决。我都把这些解决方案整理了起来。当然还只是在我们team内部用。有天leader跟我说我们现在有没有什么成果物可以给客户展示？我就给他看了我整理的东西，他觉得很好同时他还建议我换个形式（原来是word版的）让我的文档看起来更清晰。我采纳了他的建议，采用了类似java api的形式。我在我们的share平台一经发表，获得的很多赞。大家都感觉这正是他们需要的东西。我的感悟是，好东西要有好的包装，用什么形式，怎么更好的展示你的作品很重要。很多技术人员认为只要解决技术问题就行了，其实展示成果也是我们的必修课，让你通往成功的道路更快捷。
9月份，随着我们脚本数量的进一步增加我们使用了ClearCase作为我们的版本管理工具。然后结合SAHI做了个整体的共享解决方案。
10月份，我深知录制-回放肯定不是我们的最终解决方案，员工也随着不断的学习掌握了录制-回放的功能。我觉得是时候推进framework和workflow的方法了。于是10月份我给大家又培训了framework和workflow相关内容。有几个员工连最基本的if/for/function都不会写,一开始的推进真是困难多多。我不厌其烦的讲，定期给每个人review代码。虽然到现在为止我还不敢说大家能达到什么水平最起码基本编程知识是有了。
11月份，由于我们积累了很多自动化的数据，leader建议我做metrics。Metrics的作用就是让你的工作一目了然的呈现出来，最适合给老板汇报工作时使用。
我们的metrics分3块，一是自动化的好处，包括省得时间，省这些时间和多做多少case的对比。二是自动化的进度，包括实际进度和计划的对比，从app角度完成多少。三是维护成本，包括每个月的维护时间，原因分析，维护量分析。
Metrics一出简直可以用轰动来形容，我们组又创造了一个第一。老板很高兴，他可以拿着这个去跟客户展示了。对我们的自动化刮目相看。
到了年底我们如期完成了计划，2014年我们还会按照计划继续走下去.
回顾这一年多的工作，我感觉工作方法和思路是多么重要，你技术再牛工作方法不对一样没用。再一个就是leader/pm对自动化的支持很重要,没有他们很难在全组推进自动化,尤其是很多手动测试人员兼职做自动化,我很感谢他们一直对我工作的支持. 同时我也很感谢组里的所有人,他们没有虽然任何开发经验可还是很努力.
还有一个月就回家休产假了，希望一切顺利。休假的时候也要多思考，回来的时候能继续有更好的表现。

omg

很好，好厉害，谢谢分享。

你的highlight很对，现在都需要一些sales的技能，怎样把自己、把创新给推出去，对于不同对象，肯定用不同的策略，对于老板，肯定是想节约具体成本，是想要数字的。

gaha

知道什么叫吹毛求疵吗？没有理论的时候他们不会干，你提出一个方法和模式，又要揪着问你为什么没干好。

wonderful4228

写这篇文章就是想跟大家分享一下自动化测试中管理的内容. 感觉做技术的人容易走进技术里无法自拔,我们要经常跳出来想想问题.

pcxty

以前做Selenium比较多，有机会试试sahi

wonderful4228

回复 5# pcxty


Sahi比较容易上手，没有编程基础的人能很快录制回放还是挺好用的，虽然有些不足之处。欢迎讨论。

Miss_love

感谢分享

如果弯弯

框架遇到难题了呢

wonderful4228

回复 8# 如果弯弯


    技术 问题肯定是我们要解决的，有时真的会延误工期。这也是录制的好处。可以在开发框架的同时保证录制的脚本能提高手动人员日常的工作效率。两不耽误。

a670234597

仅仅只是录制跟回放就行了吗？不用分析脚本吗？

auto_tester

写的不错！

布衣诺

真心不错，知道哪里出了问题，能拿出解决方案，然后迅速执行

annaier_go

昨天下载了sahi,我命名为say hi，但是貌似遇到不少问题，网上关于这个工具的信息很少，不知楼主愿意不愿意和大家一起共进步 ，把你的东东分享出来。独乐乐不如众乐乐。

lsekfe

不错的分享，强力支持下~

wonderful4228

回复 10# a670234597


    我们手动测试人员负责录制脚本，专门的自动化人员再做分析整合，使用框架等。合理的培训也可以让一部分手动测试人员直接使用框架不录制。

wonderful4228

回复 13# annaier_go


    好的，没问题。等我整理整理的~~~

duxiaohan0326

手机app测试工具还没有接触过，不过目前这方面的火热程度已经摆在眼前。楼主是为女生，佩服佩服！
真得向你好好学些下1

lengyao

学习了

mew234

很好很强大~
给你一个赞
可是更多的是好奇
=>>你当初怎会想选用SAHI 而不用其他软件?

huang4932893

请问下metrics是什么东东啊？