행렬 방정식 [A]{x}={b}에서 [A]와 {b}가 구하고자 하는 미지수 {x}와 무관하게 일정한 경우를 선형이라고 하고 그렇지 않은 경우를 비선형(nonlinear)이라고 부른다. 선형인 경우에는 [A]의 역행렬을 구하여 우변의 {b}에 곱하여 바로 해답을 구하는 직접법(direct method)과 행렬식을 반복계산 형태로 변환하여 푸는 반복법(iterative method) 모두가 가능하다. 대표적인 직접법으로는 가우스 소거법(Gauss elimination)이 있다.
하지만 비선형인 경우에는 반복법을 사용하여야 한다. 반복법은 일반적으로 형태로 변환된 행렬 방정식을 반복적으로 풀게 되므로, 미지수의 초기값, 즉 {x}0을 추정하여 대입해야 한다.
이렇게 반복계산을 위해 설정한 미지수의 초기값을 초기 추정값이라고 부르고, 일반적으로 {0}이 아닌 어떠한 값이라도 무방하다. 어떠한 값을 초기 추정값으로 설정하느냐는 최종 해답에는 거의 영향을 미치지는 않지만, 특별한 경우에 있어서는 최종 해답으로 수렴하지 않는 경우가 발생할 수도 있다. 그리고 최종 해답에 도달하기 까지 걸리는 반복계산의 회수는 초기 추정값에 따라 달라진다.
참고로 반복계산에서는 반복계산을 종료시키기 위한 종료조건(stop criterion)을 설정해야 하는데, 이 종료조건은 현 단계에서 구한 미지수와 앞 단계에서 구한 미지수와의 차이를 이용하여 다양한 방식으로 정의된다.
.