[프로그래머를 위한 선형대수] 4. 고윳값, 대각화, 요르단 표준형

# 4.1 문제 설정: 안정성

$x(t) = Ax(t-1)$

어떤 초기값 $x(0)$에서 시작해도 $x(t)$는 유한의 범위에 머무는가(폭주x)?

운이 나쁜 초기값 $x(0)$에서 시작하면 $x(t)$의 성분이 무한대까지 치우쳐 버리는가(폭주)?

 

즉, 다시 말해서 특정 $x(0)$값에 대해서 $x(t)$의 성분이 폭주하는지 아닌지를 판정하는게 과제이다.

---

# 4.2 1차원의 경우

$A$가 1차원인 경우부터 생각해보자

(구체적인 예시)

$x(t) = 7x(t-1)$

$x(t) = 7x(t-1) = 7*7x(t-2) = 7*7*7x(t-3) = ... = 7^tx(0)$

>>> 폭주

$x(t) = 0.2x(t-1)$

$x(t) = 0.2x(t-1) = 0.2*0.2x(t-2) = 0.2*0.2*0.2x(t-3) = ... = 0.2^tx(0)$

>>> 폭주하지 않음

 

(일반화)

$x(t) = ax(t-1)$

$x(t) = a^tx(0)$이고, $|a|>1$이면 폭주, $|a|<=1$이면 폭주하지 않음

 

---

# 4.3 대각행렬의 경우

이제 $A$가 다차원인 경우부터 생각해보자

(구체적인 예시)

4.2절에서 배운 1차원을 적용해보면,

>>> 폭주

 

(일반화: 대각행렬인 경우)

$|a_1|,...,|a_n| <=1$이면 폭주하지 않음

즉, 대각행렬의 모든 원소의 값이 1보다 작거나 같을 때 폭주하지 않는 것이다!

 

---

# 4.4 대각화할 수 있는 경우

$A$가 대각행렬일 때는 수렴하는지 안 하는지 쉽게 파악할 수 있다.

그렇지만, 일반적인 $A$의 경우는 어떨까?

어떻게 해서든 대각행렬로 귀착해버리면 쉽게 풀 수 있는 문제가 아닐까?

 

# 4.4.1 변수 변환

가장 간단하게 $x_1, ..., x_n$을 여러모로 재배치해본다.

 

(구체적인 예시)

 

 

hint! 새로운 변수 $y_1(t)$와 $y_2(t)$를 도입한다!

 

4.3절에서 배운 것처럼 식을 더 간단히 만들 수 있다.

>>> $y_1(t)$, $y_2(t)$는 폭주하는구나

잠시 빌려쓴 변수 $y_1(t)$, $y_2(t)$는 돌려줄 차례이다.

>>> $x_1$, $x_2$ 모두 폭주

 

일반화

1. 힌트로 주어진 행렬 $C$를 사용하여 변수 $x(t)$를 다른 변수 $y(t)=Cx(t)$로 변환
2. $x(t)$ 식으로 주어진 차분 방정식을 $y(t)$로 다시 씀
3. 고쳐쓴 식 $y(t)$은 '대각행렬의 경우'가 되어 간단히 풀림
4. 풀어서 얻은 $y(t)$를 $x(t)$로 되돌려 쓰면 끝

 

(행렬의 관점으로 다시 살펴보기)

빌려쓴 변수 $y_1(t)$, $y_2(t)$는 다음과 같이 행렬로 나타낼 수 있다.

 

 

아래처럼 $x(t) = C^{-1}y(t)$이므로 이렇게 나타낼 수 있지

 

그리고 위의 식에 의해 $y(0) = Cx(0)$이므로

 

다음 풀이과정의 포인트는 y(t)를 식으로 고쳐쓰면 $Λ$가 '대각행렬의 경우'가 된다는 부분이다.

그렇게 되는 좋은 C를 스스로 발견하기 위해서는 어떻게 해야 할까?

일대일대응이 보장되도록 C는 정칙행렬이어야 한다.

 

$C = P^{-1}$로 바꿔서 식을 다시 나타내보자.

$y(t) = Cx(t)$

$x(t) = Py(t)$

$y(t) = P^ {-1} x(t) = P^ {-1} Ax(t-1) = P^ {-1} A(Py(t-1)) = (P^ {-1} AP)y(t-1)$

$ Λ  = (P^ {-1} AP) $

$Λ$가 대각행렬이기 때문에, 앞 절과 같이 다음과 같이 나타낼 수 있다.

 

>>> 좋은 정칙행렬 $P$를 골라 $P^{-1}AP$를 대각행렬로 한다

>>> 이 작업을 우리는 간단하게 대각화

 

# 4.4.2 좋은 변환을 구하는 방법

$P^{-1}AP$가 대각이라는 괜찮은 $P$가 잘 만들어질까?

자꾸 헷갈리는 부분인데 이렇게 표현하는게 더 익숙함.
$D$가 대각행렬일 때,
$P^{-1}AP = D$
$A = PDP^{-1}$
우리가 구하려는 행렬 $A$를 위와 같이 분해할 수 있는 $P$가 존재하는지가 궁금한 것!

답은 '대부분의 정방행렬 A라면 만들 수 있다'이다.

 

P를 종벡터로 분해하여 생각해보자.

식을 변형하여 이와 같이 나타내면 $AP = PΛ$,

이를 만족시키는 수 $Λ$를 고윳값, 벡터 $p$를 고유벡터라고 부른다.

 

좋은 P를 구하기 위해서는

1. $A$의 고유값 $\lambda_1$,...,$\lambda_n$과 대응하는 고유벡터 $p_1$,...,$p_n$를구한다.
2. 고유벡터를 나열하여 $P = (p_1,...,p_n)$으로 둔다.

 

이제 남은 문제는 '고윳값, 고유벡터를 어떻게 구하는가?'이다.

고유값과 고유벡터를 구하면 폭주 여부를 판정할 수 있기 때문이다.

 

# 4.4.5 결론: 고유값의 절댓값 나름

정리하면, 결국 대각화할 수 있는 $A$라면, 대각행렬의 경우로 이야기가 귀착된다.

이 대각행렬은 $A$의 고유값 $\lambda_1, ..., \lambda_n$이 대각성분에 나열한 $Λ=diag(\lambda_1,...,\lambda_n)$이다.

 

따라서 결론은 아래와 같다.

• $|\lambda_1|, ..., |\lambda_n|$ 중 하나라도 1보다 크면 '폭주 위험이 있음'
• $|\lambda_1|, ..., |\lambda_n| <= 1$ 이면 '폭주 위험이 없음'

 

---

# 4.5 고유값, 고유벡터

폭주 위험을 판정하는 열쇠는 고유값과 고유벡터이다.

이들을 구하는 방법을 알아보자.

정방행렬 A에 대해
$Ap = \lambda p$
$p \neq 0$
를 만족하는 $\lambda$를 고유값, $p$를 고유벡터라고 한다.

 

# 4.5.1 기하학적인 의미

A를 곱해도 신축만 되고, 방향은 변하지 않는다!

구체적인 예시는 다음 블로그에서 참고하였다.

 

# 4.5.2 고유값, 고유벡터의 성질

• $A$가 고유값 0을 가지면, 특이행렬이다.
• 역행렬의 고유값은 $1/\lambda$이다.
• 대각행렬 $diag(5,3,8)$의 고유값은 $5,3,8$이다. $(1,0,0)^T, (0,1,0)^T, (0,0,1)^T$가 대응하는 고유벡터이다.
• 상삼각행렬이나 하삼각행렬의 고유값은 대각성분 그 자체다. (고유벡터 구하는 법은 복잡)
• 행렬식은 고유값의 곱이다
  • $det(P^{-1}AP) = det(P^{-1})det(A)det(P) = 1/det(P)*det(A)*det(P) = det(A)$

고유벡터의 선형독립성

이건 따로 증명한게 자료가 있어 첨부하겠다.