![]() |
#10 |
Участник
|
Вот где вкралась неточность в ваших расчётах!
Переменная b, значение которой вы вычисляете как 100 / 2827 на самом деле инициализируется не 0.0353731871241599, а 0.3537318712415989e-1. это легко проверить X++: b = 100 / 2827; info(num2str(10*b, 0, 16, 0, 0)); Интересно а есть ли в аксапте возможность преобразовать вещественное значение в строку без потери значащих разрядов (т.е в экспоненциальном формате)? Последний раз редактировалось S.Kuskov; 06.04.2011 в 09:57. |
|
Теги |
округление |
|
![]() |
||||
Тема | Ответов | |||
Глюк RunBase (AX40sp2) | 7 | |||
DeadLock. Один сеанс - несколько процессов. | 20 | |||
Глюк автоматическое рассопопоставление | 4 | |||
Enum: глюк? | 11 | |||
Help! Странный глюк.. | 8 |
|