定义

已知

• $m\times n$ 矩阵 $A$
• 向量 $\boldsymbol{b} \in \mathbb{R}^{m}$

则

• 最小二乘解 least square solution := 解 $\boldsymbol{\hat{x}}$ 满足 $$\forall\boldsymbol{x}\in \mathbb{R}^{n}(\lvert \boldsymbol{b}-A\boldsymbol{\hat{x}} \rvert \leq \lvert \boldsymbol{b}-A\boldsymbol{x} \rvert )$$

求解

下面三种方法选其一即可

1. 【等效Ax=b】 解 $A \boldsymbol{\hat{x}} = \boldsymbol{b}$ $\Leftrightarrow$ 解 $A^{T}A\boldsymbol{\hat{x}}=A^{T}\boldsymbol{b}$
2. 【唯一解特殊】 以下三条互相等价，满足任一则有 $\boldsymbol{\hat{x}}=(A^{T}A)^{-1}A^{T}b$
   1. $A\boldsymbol{x}=\boldsymbol{b}$ 对任意 $\boldsymbol{b}$ 有唯一最小二乘解
   2. $A$ 的列向量线性无关 aka 列满秩
   3. $A^{T}A$ 可逆
3. 【QR辅助】 若 $A$ 已 QR 分解 ，则有 $\boldsymbol{\hat{x}}=R^{-1}Q^{T}b$
   1. 解 $R\hat{x}=Q^{T}b$ 更快，因为 $R$ 已经是个上三角矩阵