計算と誤差 電卓アプリの一部、MS-Excelなどの表計算ソフトは、小数点以下の計算は丸め誤差が出ることがあります。 Excelの場合、たとえば、マイナス1から0.1ずつ加える式をセルに格納した場合、マイナス0.1+0.1は、0になりません。また、1-0.9-0.1の計算結果も0になりません。... 続きをみる
丸め誤差のブログ記事
丸め誤差(ムラゴンブログ全体)丸め誤差のブログ記事
丸め誤差(ムラゴンブログ全体)計算と誤差 電卓アプリの一部、MS-Excelなどの表計算ソフトは、小数点以下の計算は丸め誤差が出ることがあります。 Excelの場合、たとえば、マイナス1から0.1ずつ加える式をセルに格納した場合、マイナス0.1+0.1は、0になりません。また、1-0.9-0.1の計算結果も0になりません。... 続きをみる