阿里巴巴测试难题

liangjz

测试技术方面：

(一) 功能测试

1测试环境搭建时编译抛出错误，快速判断是否系代码问题  
2测试中抛出500错误（或log文件中error），快速判断系代码or数据or外部接口问题
3自动化测试脚本是否细化验证点为所有可验证内容（页面所有内容显示区域、数据库、搜索引擎、cache、本地cookies等）? 检查细化，但维护量非常大
4（高优先级) 测试数据准备工具（数据库、搜索引擎、cache等持久化或临时数据）
5个人pc机本地测试环境差异（操作系统状态、完整性，浏览器版本、完整性），引起问题的原因是软件的添加/卸载，浏览器插件安装/删除，补丁程序，系统设置与浏览器设置等等
6 数据准备 如：不同类型账号生成，像生成10中供新单账号， 10个中供服务中账号等等，批量生成而不需要手工完成，否则效率慢了。
7 搜索引擎支持多个站点，每个站点又有不同的数据应用，se.conf存在众多的配置项、分词器，测试的矩阵非常庞大，如何保证尽少资源获取最好测试效果
8 抽样检查分词器的功能有遗漏，但分词器算法和外部已有的分词器算法不同，如何提高分词效果核对效率
10 海量数据查询结果正确性验证

(二) 性能测试
  1 生产环境硬件模拟
                生产环境依赖于外部昂贵的设备，在测试环境开展性能测试如何模拟？比如有专用邮件服务器，图片服务器,CACHE服务器？
        2 数据模拟
            生产环境的数据量巨大，如何剪裁合适的数据集作为性能测试基准数据？
        3 用户行为模拟
                  虽时间变化日志系统分析的数据会很快过时，如何低成本跟进访问模式
          
  4 特殊场景下性能瓶颈定位与监控等等
      比如国际站凌晨2点突然LOAD 升高，原因未明
  5  容量规划的效果如何衡量
   

(三) 质量管理平台
1 没有缺陷报告平台，需要详细或自定义报表时无法给出   
                如QC 的报表、需求管理2部分功能一直没有采用。
2 项目管理、需求管理、缺陷管理多个系统入口， 并没有统一关联。另外代码与需求之间映射关系随着业务变更也难以一一映射
3  现有的软件测试平台更适合传统的大型软件测试，能否、如何定制更适合快速上线的WEB系统？
      
(四) 测试管理
1 测试机器的使用权限（Linux、Windows）管理，做到近少互相干扰
2 如何有效度量测试工程师的绩效？
3 (高优先级) 如何更快找到合适的测试人才？
4 (高优先级)如何提高开发、测试双方的满意度？
5 (高优先级)如何提高估计测试时间的准确度？
  
(五) 测试新技术的应用与推广  

1  如何有效开展安全与漏洞测试
如：sql注入，cookie安全机制，安全证书、加密等. 服务器与客户端的安全漏洞检测等
2 白盒测试工具引入及白盒技术等
如：单元测试工具Junit, parasoft的白盒测试工具使用与引入等。
3 自动化测试在项目中是否需要介入，何时介入？（数据准备？回归测试？）
4  如何在自动化覆盖率和验证点密度  与自动化成本间找到一个合理的平衡点


测试策略与方法方面
(一) 测试用例分析与设计
  1 冗余的测试用例的精简化问题
  2 (高优先级) 底层代码的修改如何测试，回归范围如何确定，测试策略如何确定？
如 ejb, jboss改造的性能与功能测试
  3 如何使用冒烟测试对大型软件进行快速测试，用例的选择问题
  4 如何为复杂产品/大型测试项目选取测试策略？ 如
镜像站点测试
异地数据同步测试
重构项目测试  
  5 Apache Modul如何测试（功能测试与性能测试）如中文站最近发布的将Image server固定域名通过modul替换成动态域名？
  
  6 (高优先级)支持多浏览器(IE6/ie7/firefox...)/多OS软件如何测试？ 支持国际化语言版本的软件如何测试？如国际站网站支持英文，繁体版，马来西亚语言。

     降低成本的测试方法有哪些？
    正交表测试方法满足我们的需求么？
  7 (高优先级)如何在时间、进度压力下，最优选取测试集合？回归测试的面积多大算合理?

  8(高优先级) 跨部门、跨公司的接口测试如何开展，以提高协调效率？
     如中文站和阿里软件贸易通状态接口，国际站和后台CRM 接口，

（二) 测试执行

1开发的代码中缺少足够的接口来支持自动化或者黑盒测试的问题
2 反复测试引发的测试疲劳如何应对（个人、团队）？交叉测试什么时候引入合适？如何衡量交叉测试的绩效?

（三) 测试标准
1 如何定义测试“完成”，比如如何定义搜索引擎测试完成？
2 如何提升对项目是否可以release的影响力
3 (高优先级)如何清晰度量产品的测试质量
按测试覆盖率？按BUG遗漏数？按已经发现BUG的曲线图？哪些标准度量最合适
4 测试人员是否需要了解代码，了解代码需要到达何种程度？
5 如何在没有单元测试代码情况下，度量代码测试覆盖率

megahappy

why you do that?only for recruitment?

rickyzhu

老兄，你这问题很多都是很具代表性的，不是阿里巴巴的难题，而是测试领域的难题。

huior

对其中的两个问题，简单聊了聊我的看法
http://www.51testing.com/?10851/ ... e_itemid_85238.html
http://www.51testing.com/?10851/ ... e_itemid_85274.html
等有时间，再聊其他的问题

[ 本帖最后由 huior 于 2008-6-18 17:12 编辑 ]

mvjh13

顶起，期待高手给出看法，确实是难！

博一笑

嗯，大部分问题是要结合场景的，有些描述的很不清楚，根本没办法解决

scsfywllahmyyc

有一点难度啊

archonwang

如果作为思想交锋，愿意回答，否则，意义不大。

liangjz

关于部分问题的答案，去北京一趟，有了一些新的思路。

比如发布标准，微软的做法是：
95% case通过率以及85% 代码覆盖率，<5%不重要的case bug。

而我们当前的做法： 100%测试用例覆盖率+0 bug

liangjz

测试人员是否需要了解代码，了解代码需要到达何种程度？

针对这条。由于手工测试的弊端：上次测试结果无法传承、可信度低等弊端日益呈现出来。故目前招聘的思路也在发生变化，
对应聘人员技术水平提出更高要求。
开发能力至少能编写自动化脚本，有良好的技术驱动力不断前进，人要聪明

[ 本帖最后由 liangjz 于 2008-7-3 23:33 编辑 ]

madskill

这。。。。。。。。。。

ruanyongjie

牛人

wgs0923

具体问题具体分析！
具体人员具体解决！
具体项目具体回答！

yyaixin

倒，只是刚入门，革命道路很漫长哦

zy-cumt

高难度的技术，领教了

ryqkitty

对我们公司来说，先解决下项目的时间问题，这是头等的大事！
每次制定的项目计划都是凭主观的想象，到最后，做事的人都是手忙脚乱的！唉...

renhuilao

3自动化测试脚本是否细化验证点为所有可验证内容（页面所有内容显示区域、数据库、搜索引擎、cache、本地cookies等）? 检查细化，但维护量非常大  -------对于自动化脚本中的验证点，要求完全覆盖手工测试验证点是比较难的。关键在于在自动化框架中建立起通用的assert标准。

4（高优先级) 测试数据准备工具（数据库、搜索引擎、cache等持久化或临时数据） ----------数据准备自动化的实现确实应该是最高优先级的，特别是在搜索系统里，好的测试数据对结果产生的影响不言而喻。可以考虑一次生成，n次导入使用

5个人pc机本地测试环境差异（操作系统状态、完整性，浏览器版本、完整性），引起问题的原因是软件的添加/卸载，浏览器插件安装/删除，补丁程序，系统设置与浏览器设置等等  ------在功能测试范围考虑人人员认为造成的客户机环境因素可能会是一个很大的负担。功能测试（特别是自动化功能测试）通过VM建立标准环境。操作系统平台、浏览器版本属于功能测试中的平台覆盖，不属于人为影响的环境因素

6 数据准备 如：不同类型账号生成，像生成10中供新单账号， 10个中供服务中账号等等，批量生成而不需要手工完成，否则效率慢了。
-------同4

renhuilao

不知道我的理解是不是正确，这里的问题更像是项目配置管理的一些东东。
缺陷系统在测试部门应该是必须的，最好是bug与code变化有跟踪。
需求变更和测试场景（如果有可记录的测试场景的话）需要有关联

renhuilao

3 自动化测试在项目中是否需要介入，何时介入？（数据准备？回归测试？）------单元测试，必须自动化！功能测试分界面测试和接口测试。接口测试比单元测试更高一级，如果有对外发布的接口，这也是必须的。界面功能测试分不同的范围，如可接受性测试 > 基本功能 >其它功能。如果排除自动化工具的因素，基本上可以认为一旦功能稳定，自动化就可以介入
4  如何在自动化覆盖率和验证点密度  与自动化成本间找到一个合理的平衡点
------建立验证点的准则，根据AUT决定.没有太好的想法

renhuilao

6 (高优先级)支持多浏览器(IE6/ie7/firefox...)/多OS软件如何测试？ 支持国际化语言版本的软件如何测试？如国际站网站支持英文，繁体版，马来西亚语言   ------自动化优势凸显，呵呵。大部分功能测试自动化工具实现了平台无关了浏览器无关。就算是表现不一样的，在自动化的代码里也可以引入分支（不会很多）。 国际化语言版本好像目前的自动化工具支持得并不好，考虑下开发人员写这些软件的方式，把他们的方法引入到你们的自动化框架中即可。。。