이변수 함수 테일러 급수(Taylor expansion)와 헤세행렬(Hessian Matrix)

저번 글을 Latex로 작성하다가 미숙해서 1시간 넘게 걸렸습니다. ㅠㅠ 그래서 이번 포스트 부터는 그냥 수식을 긁어 올게요.

 

우리가 아는 taylor expansion입니다.

Taylor expansion

이변수 함수의 테일러 급수입니다.

 

 

여기서 x가 벡터가 되면 어떻게 될까요?

 

일단 벡터라는 것을 표시하기 위해 x 이런식으로 굵은 글씨로 표현을 합니다. (  x=<x1, x2> )

 

이제 전개를 하면 다음과 같습니다.

 

 

 

그레디언트(Gradient)는 다 아실 거라고 생각합니다. 그레디언트는 다음과 같습니다.

그레디언트 값이 0인 것이 정상점(Stationary point)라고 합니다.

 

 

H는 헤세행렬(Hessian matrix)라고 합니다.

헤세행렬은 gradient를 한번더 편미분한 값들로 이루어져있습니다.

 

x값에는 정상점을 넣습니다.

 

헤세행렬은 우리가 f(x)를 연속적이고 두번 미분 가능하다고 가정하기 때문에 대칭행렬입니다.

 

해세행렬은 중요한 역할을 하는데요, 바로 극대점과 극소점을 확인할 수 있습니다.

 

고등학교 때 f''(x)의 부호에 따라서 최대값과 최소값을 구분했던 것을 기억하실 수 있으실 겁니다.

 

마찬가지로 헤세행렬은 f''(x)과 같은 역할을 합니다.

 

H>0	positive definite(양정)	고유값이 둘다 양수
H>=0	positive semidefinite(양반정)	고유값이 0보다 크거나 같다
H<0	negative definite(음정)	고유값이 둘다 음수
H<=0	negative semidefinite(음반정)	고유값이 0보다 작거나 같다
	indefinite	고유값이 하나는 양수 하나는 음수

 

헤세행렬의 고유값(eigen value)으로 국소적 최대인지, 최소인지, 변곡점인지 판별할 수 있습니다.

 

H>0이면 양정으로 최소값을 갖는 충분조건입니다. (SOSC)

H>=0이면 양반정으로 최소값을 갖는 필요조건입니다. (SONC)

H<0이면 음정으로 최대값을 갖는 충분조건입니다.

H<=0이면 음정으로 최대값을 갖는 필요조건입니다.

indefinite이면 변곡점입니다.

 

 

이를 이용하여 판별을 합니다.

 

 

고유값은 다음과 같은 방법으로 구하셨던 것을 기억하실 겁니다. 여기서 x값이 고유값입니다.

 

 

따라서 우리는 주어진 함수가 있으면 어느 점에서 극대, 극소를 갖는지 판별을 할 수 있게 되었습니다.