O erro "false" significa uma indeterminação, nas casio é igual. Pode colocar aqui um exemplo da equação que dá esse resultado?
E não será um problema de memória disponível? Já tentou libertar algum espaço da memória utilizável?