阿里巴巴分布式搜索引擎isearch3核心技术栈以及开发、调试工具一览

liangjz

平台：redhat linux + apache2.x 。
支持linux2.6内核，32/64 bit。
支持apache2.x的work/prefork MPM。

一 单机

1 进程间通信技术
采用内存映射
2 XML解析
采用mxml-2.2.2
3 大部分API 都是标准unix c++， 线程安全。部分采用STL 模板库
4 索引采用自定义的数据结构文件存储。
5 自主研发memory pool管理内存分配、释放。对于内存泄露检测起到很便利的作用
6 排序、查找算法优化标准的算法

二 分布式

1 UDP 多播技术管理集群数据传输、查询请求、查询结果响应。
2 查询cache 采用berkely db4.5.18 存储缓存数据。cache同样有dispatch与提供cache服务的master机

器
3 apache module接收、处理http请求
4 最前端采用F5负载均衡，内部查询机器也检索机器load做负载均衡
5 socket i/o多路复用采用epoll。内部也实现了select
6 外部接口有：web前端展现界面；贸易通状态查询
7 集群机器管理脚本:perl

三 开发工具、调试工具

由于和设备相关部分API用win32/linux wrap过了，故程序也可以在windows上运行。

(1) unix上:

  gdb调试
  valgrind查找内存泄露
  也用intel vtune尝试性能调优
  gprof性能优化
  增加apache module记录每个http请求时间，以便调优
  Makefile组织gcc编译

  samba便于win32调试

(2) win32
  visual studio 2003

huior

看看这个当前在国外非常流行的工具对你的开发是否会有些帮助
http://www.51testing.com/?10851/action_viewspace_itemid_85660.html

liangjz

谢谢。
偶要找时间看看。

现在ALIBABA的风格是能用开源解决就不用商业的

liulinzhu

#2提供的Coverity Prevent看上去很是不错，可惜不是开源的

huior

呵呵，这些基于数学理论研发而成的工具，或者这么说，是数学家搞出来的东东，开源的还真是不多。

liulinzhu

很是希望国人也能搞出点东东来，即便丁点也是好的。。。
自己是心有余而力不足啊，

liangjz

关于静态代码分析

http://www.cs.cmu.edu/~aldrich/courses/654/tools/
有些。
huior等在这方面有研究的朋友帮忙分析下他们的应用场景以及各自优劣：）

huior

http://www.cs.cmu.edu/~aldrich/courses/654/tools/
大部分都是C，即商业软件，一小部分是R，即研究型的，可能都很难找到，有些开发一段后就没有后续的升级了。
Grammatech、Coverity以及Parasoft的c++test在我blog上都有提到。
Klocwork是和Coverity直接竞争的一个工具。公司最初由北电的研发人员开发出来用于测试电信代码，后独立成公司，so Klocwork在电信软件用得很广泛。
Grammatech最初是由美国国防部资助的公司，其工具在国防，尤其是海军用得很多。

要了解每个工具的应用场景，或者其所擅长的地方，看一下其大客户就可以了。哪个领域的客户最多，也就是它擅长哪个领域。

其他的等有空再提。

sihanjishu

google了一下isearch3，只看见你写的文章，ebay好象也用。搜索到了他们的一个测试页，不知道是做什么的。
网上内容不是太多啊。

yuandjing

原帖由 sihanjishu 于 2008-9-15 19:33 发表
google了一下isearch3，只看见你写的文章，ebay好象也用。搜索到了他们的一个测试页，不知道是做什么的。
网上内容不是太多啊。

偶以前就是search组的，么听说过我们用isearch3，能否把你搜到的测试页发一下？我没有搜到