【電卓】電卓アプリと表計算ソフトの丸め誤差
計算と誤差 電卓アプリの一部、MS-Excelなどの表計算ソフトは、小数点以下の計算は丸め誤差が出ることがあります。 Excelの場合、たとえば、マイナス1から0.1ずつ加える式をセルに格納した場合、マイナス0.1+0.1は、0になりません。また、1-0.9-0.1の計算結果も0になりません。... 続きをみる
藤堂俊介がこっそり書くブログのようなもの
計算と誤差 電卓アプリの一部、MS-Excelなどの表計算ソフトは、小数点以下の計算は丸め誤差が出ることがあります。 Excelの場合、たとえば、マイナス1から0.1ずつ加える式をセルに格納した場合、マイナス0.1+0.1は、0になりません。また、1-0.9-0.1の計算結果も0になりません。... 続きをみる