前言：最小二乘法最早是由数学家高斯为了计算行星运行轨道而提出的一种参数辨识方法。基本想法是：一个最接近真实系统的模型必定是实际观测到的全部的点与模型上相对应的点之间的误差（距离）的平方和最小的模型。最小二乘法是一种最基础、最有效、广泛应用的系统辨识方法。阅读本文需要具有微积分与矩阵运算的知识。

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合，其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达 。据说法国科学家勒让德于1806年独立发明“最小二乘法”，但因不为世人所知而默默无闻。但是高斯提供了最小二乘法的优化效果强于其他方法的证明。