読者です 読者をやめる 読者になる 読者になる

発熱するマイナー魂

隠れた名作の発掘が生きがい。サブカル作品の感想とIT技術メモ中心のブログです。

ラグランジュの未定乗数法を用いた最確値の導出


スポンサードリンク

ラグランジュの未定乗数法(Lagrange multipliers.ラグランジュの未定係数法とも呼ばれる)は,条件付き極値を求めるためによく使われます.この方法を用いて,条件が一つの場合における,計測値の最確値を求める問題の解法を簡単にまとめました.


ラグランジュの未定乗数法
一般に,いくつかの変数x_1,x_2,...,x_nの関数f(x_1,x_2,...,x_n)において,x_1,x_2,...,x_nが互いに独立でなく,
g_1(x_1,x_2,...,x_n)=0
g_2(x_1,x_2,...,x_n)=0
      \vdots
g_r(x_1,x_2,...,x_n)=0
なるr個の条件が付けられているとき,f(x_1,x_2,...,x_n)極値を求めるには,r個の未知の係数\lambda_1,\lambda_2,...,\lambda_rを用いて新たな関数,
F=f(x_1,x_2,...,x_n)-\sum_{i=1}^{r}\lambda_{i}g_i(x_1,x_2,...,x_n)
をつくり,
\frac{\partial F}{\partial x_1}=0,\frac{\partial F}{\partial x_2}=0,...,\frac{\partial F}{\partial x_n}=0
\frac{\partial F}{\partial \lambda_1}=0,\frac{\partial F}{\partial \lambda_2}=0,...,\frac{\partial F}{\partial \lambda_r}=0
を満足するx_1,x_2,...,x_nおよび\lambda_1,\lambda_2,...,\lambda_rを求めれば,x_1,x_2,...,x_nが条件付き極値となる.


条件を考慮した最確値の導出
計測値L^{m}=[l_{1}^{m},l_{2}^{m},...,l_{n}^{m}]^tにそれらの要素に対する補正値L^{a}=[l_{1}^{c},l_{2}^{c},...,l_{n}^{c}]^tを加えて最確値L^{a}=[l_{1}^{a},l_{2}^{a},...,l_{n}^{a}]^tを求めることを考える.つまり,
L^{a}=L^{m}+L^{c}
によって最確値を求める.ここでは,ラグランジュの未定乗数法の考え方をもとに,最確値を求めるための補正値L^{c}を導出する.

簡単のために,L^{a}が満足しなければならない条件が1つだけあるとし,その式を次のように表す.
F(L^{a})=0
次に,この式をテイラー展開により線形近似する.
F(L^{a})=F(L^{m})+\frac{\partial F}{\partial L^{a}}(L^{a}-L^{m})=F(L^{m})+\frac{\partial F}{\partial L^{a}}L^{c}
ここで,\frac{\partial F}{\partial L^{a}}FL^{a}の要素で偏微分した要素数nの列ベクトルである.記述を簡単にするために,B=\frac{\partial F}{\partial L^{a}}W=F(L^{m})とすると,上式は,
BL^{c}+W=0
となり,これが考慮すべき条件式(条件方程式)となる.

次に,最小二乗法の原理L^{c^t}L^{c}=minラグランジュの未定乗数法によって求めることを考える.そのためには,次の式で表される関数,
\phi=L^{c^t}L^{c}-\lambda(BL^{c}+W)=0
を考え\phiを最小にすればよい.上式をL^{c}微分して,
\frac{\partial \phi}{\partial L^c}=2L^{c^t}-\lambda B
を考えるとL^{c}は,
L^{c}=\frac{1}{2}\lambda B^t
となる.このL^{c}BL^{c}+W=0に代入して\lambdaを求めると,
\lambda=-2W(BB^t)^{-1}
となる.この\lambdaL^{c}=\frac{1}{2}\lambda B^tに代入すると,補正値は次のように導出される.
L^{c}=-W(BB^t)^{-1}B^{t}


条件が複数ある場合の解法や応用例は次の本に書かれています.

最小二乗法の理論とその応用

最小二乗法の理論とその応用