cdd 发表于 2005-1-21 14:11:59

一个奇怪的问题

为什么在我的WinRunner上
3*647.60不等于 1942.80
差别是：2.273736754e-013
谁帮试试看?谢谢！

if (3*647.60 == 1942.80)
        tl_step("test",0,"pass");
else
        tl_step("test",1,"fail");

shyfish 发表于 2005-1-21 17:58:15

记得在学C的时候曾听老师说过，对于float(或double)变量运算编程是受限于精度限制，会有一定的误差，不可能完全相等，小于一定的误差(多少就忘了)就可以视为相等，可以这样：
num = 3.0*647.6;
if ((num - 1942.8) < 1.0e-6)
      pause("pass");
else
       pause("fail");

cdd 发表于 2005-1-21 18:03:30

Winrunner应该处理过才对，像字符串和数字就不分类型的。
而且其他好多类似的算出来都没问题，换成4*647.6也没问题，怪！

生如火花 发表于 2005-1-21 22:15:08

应该是会有误差的
页: [1]
查看完整版本: 一个奇怪的问题