Итерационный метод отличается от других способов решения задач тем, что позволяет получить бесконечную последовательность приближений к решению. 13 Предел этой последовательности и будет являться решением задачи. 1

Другие способы решения задач, например прямые методы, позволяют найти решение за конечное число арифметических операций. 4 Например, к прямым методам относится метод Крамера. 4

Таким образом, итерационные методы позволяют за конечное число операций отыскать лишь приближённое решение с заданной точностью, в то время как прямые методы дают точное решение, если начальные данные задавались точно и промежуточные вычисления выполнялись без использования округлений. 14

Итерационные методы выгодны, если нужна невысокая точность решения, при решении больших и сверхбольших систем, а также при решении систем со специальными матрицами. 4