3. 3/11
Armijo 条件
0 < ξ1 < 1 であるような定数 ξ1 に対して，
f (xk + αdk) ≤ f (xk) + ξ1α f (xk) · dk
を満たす α > 0 を選ぶ．この条件を Armijo 条件 1
という．
O x
y
y = f (xk) + ξ1α f (xk) · dk
y = f (xk) + α f (xk) · dk
y = f (x)
xk xk + αdk
1 スペイン語読みをするならばおそらく/arˈmixo/．
4. 4/11
Wolfe 条件
0 < ξ1 < ξ2 < 1 であるような ξ1, ξ2 に対して
ξ2 f (xk) · dk ≤ f (xk + αdk) · dk
を満たす α > 0 を選ぶ．この条件を曲率条件 (curvature condition)
と呼ぶ．この条件と Armijo 条件を合わせて Wolfe 条件と呼ぶ．
O x
y
ξ2 f (xk)
f (xk)
y = f (x)
xk xk + αdk
5. 5/11
Zoutendijk 条件
定理 目的関数 f (x) は下に有界で，かつ，初期点 x0 における準位集合
{x ; f (x) ≤ f (x0)} におけるを含む開集合 U において連続的微分可能
であるとする．また勾配 f (x) は U で Lipschitz 連続であるとする．
すなわち，ある正定数 L が存在して，任意の x, y ∈ U に対して
f (x) − f (y) ≤ L x − y
が成り立つとする．
このとき xk+1 = xk + αkdk を以下の条件を満たすようにとる．
各 αk が Wolfe 条件を満たす．
各 dk が降下方向である．すなわち f (xk) · dk < 0 を満たす．
すると点列 (xk)k について
∞
k=0
f (xk) · dk
dk
2
< ∞
が成り立つ．
6. 6/11
Zoutendijk 条件
証明 曲率条件と xk+1 = xk + αkdk から
ξ2 f (xk) · dk ≤ f (xk+1) · dk
(ξ2 − 1) f (xk) · dk ≤ ( f (xk+1) − f (xk)) · dk
が成り立つ．Lipschitz 条件より
( f (xk+1) − f (xk)) · dk ≤ f (xk+1) − f (xk) dk
≤ L xk+1 − xk dk
≤ αkL dk
2
が成り立つ．これらから
αk ≥
( f (xk+1) − f (xk)) · dk
L dk
2
≥
ξ2 − 1
L
f (xk) · dk
dk
2
を得る．
7. 7/11
Zoutendijk 条件
得られた αk を Armijo 条件に代入して
f (xk+1) ≤ f (xk) + ξ1αk f (xk) · dk
≤ f (xk) −
ξ1 (1 − ξ2)
L
( f (xk) · dk)
2
dk
2
となる．ここで k = 0 から m までの和をとると
m
k=0
(f (xk+1) − f (xk)) ≤ −
m
k=0
ξ1 (1 − ξ2)
L
( f (xk) · dk)
2
dk
2
f (xm+1) − f (x0) ≤ −
ξ1 (1 − ξ2)
L
m
k=0
( f (xk) · dk)
2
dk
2
を得る．
