Будем полагать, что линеаризация проведена, и что теперь некоторая величина y линейно зависит от x.

Пусть проведено n опытов и в каждом опыте получена пара значений (x_i, y_i). По этим n парам значений x и y необходимо найти коэффициенты k и b линейного уравнения. Экспериментальные значения (x_i, y_i) на графике будут группироваться вблизи некоторой прямой.

Основной задачей метода наименьших квадратов является поиск наилучшей прямой, для которой сумма квадратов этих отклонений будет минимальной

.

Условие минимума S приводит к равенству нулю производных
от S по k и b:

;

.

Решение приведенной системы уравнений позволяет получить формулы для расчета наилучших значений k и b:

, .

Расчет среднеквадратичных отклонений проводят по формулам

; ,