2009-05-01から1ヶ月間の記事一覧

浮動小数点演算での誤差のはなし

エクセルの仕事やってて、たまたま出てきた問題。 45.2 - 38.8 はいくつ? 常識的に考えたら、6.4 だよなあ。ところが。vbaの答え ? 45.2-38.8 6.40000000000001 なんじゃこりゃああああああああああああああああ!!!!コンピュータのクセに間違うとはナニ…