ラグランジュの未定乗数法を用いた最確値の導出

ラグランジュの未定乗数法(Lagrange multipliers．ラグランジュの未定係数法とも呼ばれる)は，条件付き極値を求めるためによく使われます．この方法を用いて，条件が一つの場合における，計測値の最確値を求める問題の解法を簡単にまとめました．

ラグランジュの未定乗数法
一般に，いくつかの変数 $x_1,x_2,...,x_n$ の関数 $f(x_1,x_2,...,x_n)$ において， $x_1,x_2,...,x_n$ が互いに独立でなく，
$g_1(x_1,x_2,...,x_n)=0$
$g_2(x_1,x_2,...,x_n)=0$
　　　　　　 $\vdots$
$g_r(x_1,x_2,...,x_n)=0$
なる $r$ 個の条件が付けられているとき， $f(x_1,x_2,...,x_n)$ の極値を求めるには， $r$ 個の未知の係数 $\lambda_1,\lambda_2,...,\lambda_r$ を用いて新たな関数，
$F=f(x_1,x_2,...,x_n)-\sum_{i=1}^{r}\lambda_{i}g_i(x_1,x_2,...,x_n)$
をつくり，
$\frac{\partial F}{\partial x_1}=0,\frac{\partial F}{\partial x_2}=0,...,\frac{\partial F}{\partial x_n}=0$
$\frac{\partial F}{\partial \lambda_1}=0,\frac{\partial F}{\partial \lambda_2}=0,...,\frac{\partial F}{\partial \lambda_r}=0$
を満足する $x_1,x_2,...,x_n$ および $\lambda_1,\lambda_2,...,\lambda_r$ を求めれば， $x_1,x_2,...,x_n$ が条件付き極値となる．

条件を考慮した最確値の導出
計測値 $L^{m}=[l_{1}^{m},l_{2}^{m},...,l_{n}^{m}]^t$ にそれらの要素に対する補正値 $L^{a}=[l_{1}^{c},l_{2}^{c},...,l_{n}^{c}]^t$ を加えて最確値 $L^{a}=[l_{1}^{a},l_{2}^{a},...,l_{n}^{a}]^t$ を求めることを考える．つまり，
$L^{a}=L^{m}+L^{c}$
によって最確値を求める．ここでは，ラグランジュの未定乗数法の考え方をもとに，最確値を求めるための補正値 $L^{c}$ を導出する．

簡単のために， $L^{a}$ が満足しなければならない条件が1つだけあるとし，その式を次のように表す．
$F(L^{a})=0$
次に，この式をテイラー展開により線形近似する．
$F(L^{a})=F(L^{m})+\frac{\partial F}{\partial L^{a}}(L^{a}-L^{m})=F(L^{m})+\frac{\partial F}{\partial L^{a}}L^{c}$
ここで， $\frac{\partial F}{\partial L^{a}}$ は $F$ を $L^{a}$ の要素で偏微分した要素数 $n$ の列ベクトルである．記述を簡単にするために， $B=\frac{\partial F}{\partial L^{a}}$ ， $W=F(L^{m})$ とすると，上式は，
$BL^{c}+W=0$
となり，これが考慮すべき条件式（条件方程式）となる．

次に，最小二乗法の原理 $L^{c^t}L^{c}=min$ をラグランジュの未定乗数法によって求めることを考える．そのためには，次の式で表される関数，
$\phi=L^{c^t}L^{c}-\lambda(BL^{c}+W)=0$
を考え $\phi$ を最小にすればよい．上式を $L^{c}$ で微分して，
$\frac{\partial \phi}{\partial L^c}=2L^{c^t}-\lambda B$
を考えると $L^{c}$ は，
$L^{c}=\frac{1}{2}\lambda B^t$
となる．この $L^{c}$ を $BL^{c}+W=0$ に代入して $\lambda$ を求めると，
$\lambda=-2W(BB^t)^{-1}$
となる．この $\lambda$ を $L^{c}=\frac{1}{2}\lambda B^t$ に代入すると，補正値は次のように導出される．
$L^{c}=-W(BB^t)^{-1}B^{t}$