続・オヒ!の殿堂3(番外編)

藤堂俊介がこっそり書くブログのようなもの

【電卓】電卓アプリと表計算ソフトの丸め誤差

計算と誤差
 電卓アプリの一部、MS-Excelなどの表計算ソフトは、小数点以下の計算は丸め誤差が出ることがあります。


 Excelの場合、たとえば、マイナス1から0.1ずつ加える式をセルに格納した場合、マイナス0.1+0.1は、0になりません。また、1-0.9-0.1の計算結果も0になりません。


 電卓アプリの中にも、1-0.9-0.1を0と表示しないものがいくつかあります。故障ではなく丸め誤差ですから驚かないでください。


 電卓アプリをいくつか落として、1-0.9-0.1を計算させると、


1 0と表示するもの
2 マイナス0と表示するもの
3 負数と指数表示されるもの
4 1〜3以外


 4つのの計算結果を出しました。マイナス0と表示される電卓アプリは、計算結果は、負数と指数表示される形式と同じです。表示される桁を超えていますから、マイナス0と表現しています。


 4については、1-0.9を計算すると、0.099の値が出ます。



 1-0.9-0.1の結果は、マイナス0.001になります。誤差が大きい例として分類しています。


 なお、店頭で入手できる一般電卓と、関数電卓で1-0.9-0.1を計算させると0となります。