2.1. 고윳값(eigenvalue)과 고유벡터(eigenvector)

Table of Contents

  1. 선형연립방정식의 수치해법
    1. 선형연립방정식(linear system)
    2. 크래머 공식(Cramer’s rule)
    3. 가우스 소거법(Gaussian elimination)
    4. 벡터 노름(norm)과 행렬-노름(matrix-norm)
    5. 반복법과 야코비 방법(Jacobi method)
    6. 가우스-자이델 방법(Gauss-Seidel method)
  2. 고윳값 방정식의 수치해법
    1. 고윳값(eigenvalue)과 고유벡터(eigenvector)
    2. 거듭제곱방법(power method)
    3. 역거듭제곱방법(inverse power method)
    4. QR 분해(QR decomposition)를 이용한 방법
  3. 선형회귀(linear regression)
    1. 단순선형회귀(simple linear regression)
    2. 다중선형회귀(multiple linear regression)
    3. 다항회귀(polynomial regression)
  4. 방정식의 수치해법
    1. 이분법(bisection method)
    2. 뉴턴-랩슨 방법(Newton-Raphson method)
    3. 할선법(secant method)
    4. 고정점 반복법(fixed-point iteration method)
    5. 기타 방정식의 수치해법
  5. 보간법(interpolation)
    1. 라그랑주 보간법(Lagrange interpolation)
    2. 뉴턴의 분할차분법(divided difference method)
    3. 에르미트 보간법(Hermite interpolation)
  6. 스플라인(spline)
    1. 일차 스플라인(linear spline)
    2. 이차 스플라인(quadratic spline)
    3. $n$차 스플라인(spline)
  7. 최적근사함수
    1. 직교다항식(orthogonal polynomial)
    2. 최적최소근사다항함수(best approximating polynomial)
  8. 수치미적분법
    1. 테일러 수치미분법(Taylor numerical differentiation)
    2. 리차드슨 외삽법(Richardson extrapolation)
    3. 수치적분법(numerical integration)
    4. 복합수치적분법(composite numerical integration)
    5. 가우스 구적법(Gaussian quadrature)
  9. 초깃값 문제의 수치해법
    1. 오일러 방법(Euler method)
    2. 테일러 방법(Taylor method)
    3. 룽게-쿠타 방법(Runge-Kutta method)
    4. 연립일계상미분방정식과 고계상미분방정식
  10. 경곗값 문제의 수치해법
    1. 유한차분법(finite difference method)
    2. 사격법(shooting method)
    3. 유한요소법(finite element method)

고윳값(eigenvalue)과 고유벡터(eigenvector)
정리 2.1.1. 고윳값(eigenvalue)과 고유벡터(eigenvector)

$n \times n$ 정사각행렬 $A = [a_{ij}] \in \mathbb{R}^{n \times n}$에 대하여, 다음 방정식 \[ A \mathbf{x} = \lambda \mathbf{x} \quad \text{또는} \quad (A - \lambda I) \mathbf{x} = \mathbf{0} \] 를 만족하는 상수 $\lambda$와 $0$이 아닌 벡터 $\mathbf{x} \in \mathbb{R}^{n}$이 존재할 때, $\lambda$를 $A$의 고윳값(eigenvalue), $\mathbf{x}$를 $A$의 $\lambda$에 대한 고유벡터(eigenvector)라 한다. 또한 순서쌍 $(\lambda,\, \mathbf{x})$를 $A$의 고유쌍(eigenpair)이라 한다.

$ $

행렬 $A$에 대하여 $\lambda$가 고윳값이 될 필요충분조건은 \[ p(\lambda) := \det(A - \lambda I) = 0 \] 을 만족하는 것이다. 이 때, $\lambda$에 대한 $n$차 다항식 $p(\lambda)$를 $A$의 특성다항식(characteristic polynomial)이라 한다.

$ $

주어진 고윳값에 대한 고유벡터는 무한히 많이 존재한다. 따라서 보통의 경우는 가장 간단히 표현되는 고유벡터를 택하거나 크기가 $1$이 되는 고유벡터를 택하는 것이 일반적이다.

$ $

예제 2.1.2.
Q. 행렬 $A = \begin{bmatrix} 1 & 1 \\ 4 & 1 \end{bmatrix}$의 특성다항식을 구하고, 이를 이용하여 행렬 $A$의 모든 고유쌍을 구하여라.
A. 행렬 $A$의 특성다항식은 \[ \begin{align*} p(\lambda) & = \det(A - \lambda I) \\ & = \det \left( \begin{bmatrix} 1 - \lambda & 1 \\ 4 & 1 - \lambda \end{bmatrix} \right) \\[1ex] & = \lambda^2 - 2 \lambda - 3 \\[1ex] & = (\lambda - 3)(\lambda + 1) \end{align*} \] 이므로 행렬 $A$는 $\lambda = 3,\, -1$을 고윳값으로 갖는다. 이제 각각의 고윳값에 대한 고유벡터를 구해보자. \[ \begin{align*} (A - 3I)\mathbf{x} = \mathbf{0} & \implies \begin{bmatrix} -2 & 1 \\ 4 & -2 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \\[1ex] & \implies x_1 = 1,\, x_2 = 2. \end{align*} \] 마찬가지 방법으로 \[ \begin{align*} (A - (-1)I)\mathbf{x} = \mathbf{0} & \implies \begin{bmatrix} 2 & 1 \\ 4 & 2 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \\[1ex] & \implies x_1 = 1,\, x_2 = -2. \end{align*} \] 따라서 행렬 $A$는 고유쌍 $\Big( 3,\, \begin{bmatrix} 1 \\ 2 \end{bmatrix} \Big)$, $\Big( -1,\, \begin{bmatrix} 1 \\ -2 \end{bmatrix} \Big)$를 갖는다.$ $

$ $

$n \times n$ 정사각행렬 $A,\, B \in \mathbb{R}^{n \times n}$에 대하여, \[ P^{-1}AP = B \] 를 만족하는 가역행렬 $P \in \mathbb{R}^{n \times n}$가 존재할 때, 두 행렬 $A$와 $B$는 서로 닮은(similar) 행렬이라고 한다. 두 행렬 $A,\, B$가 서로 닮음인 경우, $A$와 $B$의 고윳값, 행렬식 등이 서로 같다.

$ $

만약 $A$가 어떤 대각행렬과 닯음일 때, 다시 말해 \[ P^{-1}AP = D \] 를 만족하는 대각행렬 $D \in \mathbb{R}^{n \times n}$와 가역행렬 $P \in \mathbb{R}^{n \times n}$가 존재할 때, $A$는 대각화 가능(diagonalizable)하다고 한다. 만약 $A$가 $n$개의 서로 다른 고윳값을 가지는 경우, $A$는 언제나 대각화 가능하다. 이때 각 열이 $A$의 고유벡터로 이루어진 행렬을 $P$로 잡을 수 있고, 이 때의 대각행렬 $D$는 행렬 $A$의 고윳값을 대각성분으로 갖는다.

$ $

예제 2.1.3.
Q. 다음 행렬 $A = \begin{bmatrix} 1 & 1 \\ 4 & 1 \end{bmatrix}$을 대각화 하여라.
A.예제 2.1.2.에서 $A$가 고유쌍 $\Big( 3,\, \begin{bmatrix} 1 \\ 2 \end{bmatrix} \Big)$, $\Big( -1,\, \begin{bmatrix} 1 \\ -2 \end{bmatrix} \Big)$를 갖는 것을 확인하였다. $A$의 고윳값이 모두 다르므로 $A$는 대각화 가능하다. 이제 \[ P = \begin{bmatrix} 1 & 1 \\ 2 & -2 \end{bmatrix} \] 로 정의하면, \[ \begin{align*} P^{-1}AP & = \begin{bmatrix} 1 & 1 \\ 2 & -2 \end{bmatrix}^{-1} \begin{bmatrix} 1 & 1 \\ 4 & 1 \end{bmatrix} \begin{bmatrix} 1 & 1 \\ 2 & -2 \end{bmatrix} \\[1ex] & = -\frac{1}{4} \begin{bmatrix} -2 & -1 \\ -2 & 1 \end{bmatrix} \begin{bmatrix} 1 & 1 \\ 4 & 1 \end{bmatrix} \begin{bmatrix} 1 & 1 \\ 2 & -2 \end{bmatrix} \\[1ex] & = \begin{bmatrix} 3 & 0 \\ 0 & -1 \end{bmatrix} \end{align*} \] 행렬 $P$의 $1$열과 행렬 $D$의 $(1,\, 1)$-성분, 그리고 행렬 $P$의 $2$열과 행렬 $D$의 $(2,\, 2)$-성분이 각각 행렬 $A$의 고유쌍을 이룸을 확인하자.$ $

$ $

다음 고윳값과 고유벡터에 관한 성질들을 증명 없이 받아들이기로 하자. 행렬 $A \in \mathbb{R}^{n \times n}$에 대하여,

  • $A$는 복소수 범위에서 (중복을 포함하여) 언제나 $n$개의 고윳값을 갖는다.
  • $A$가 대칭행렬이면, $A$의 모든 고윳값은 실수이다.
  • $A$의 서로 다른 고윳값에 대응되는 고유벡터들은 선형독립(linearly independent)이다. 따라서 $A$가 $n$개의 서로 다른 고윳값을 가지면, 이에 대응되는 고유벡터들은 $\mathbb{R}^n$의 기저(basis)를 이루고, 따라서 $A$는 대각화가 가능하다.
  • $A$가 대칭행렬이면, 서로 다른 고윳값에 대응되는 고유벡터들은 서로 직교한다. 따라서 $A$가 $n$개의 서로 다른 고윳값을 가지면, 이에 대응되는 고유벡터들은 $\mathbb{R}^n$의 직교기저(orthogonal basis)를 이루고, 따라서 $A$는 대각화가 가능하다.
  • $A$가 대칭행렬이면, $\mathbb{R}^n$의 직교기저를 이루는 $n$개의 고유벡터를 언제나 찾을 수 있다. 따라서 대칭행렬은 언제나 대각화가 가능하다.

$ $

레일리 몫(Rayleigh quotient)

행렬 $A$의 한 고윳값 $\lambda$를 알고 있다면, 선형방정식 \[ (A - \lambda I) \mathbf{x} = \mathbf{0} \] 을 만족하는 해 $\mathbf{x}$가 $\lambda$에 대응되는 고유벡터가 된다. 다음 정리는 역으로 행렬 $A$의 고유벡터 $\mathbf{x}$를 알고 있을 때, 이로부터 대응되는 고유값 $\lambda$를 얻는 방법을 알려준다.

$ $

정리 2.1.4.

행렬 $A \in \mathbb{R}^{n \times n}$의 고유쌍 $(\lambda,\, \mathbf{x})$에 대하여 다음 등식이 성립한다. \[ \lambda = \frac{\mathbf{x}^{\T} A \mathbf{x}}{\mathbf{x}^{\T} \mathbf{x}} \] 특히, $\norm{\mathbf{x}} = \sqrt{\mathbf{x}^{\T} \mathbf{x}} = 1$이면, $\lambda = \mathbf{x}^{\T} A \mathbf{x}$.

$ $

증명. 식 $A\mathbf{x} = \lambda \mathbf{x}$의 양변에 $\mathbf{x}^{\T}$를 곱해주면 \[ \mathbf{x}^{\T} A \mathbf{x} = \mathbf{x}^{\T} \lambda \mathbf{x} = \lambda \mathbf{x}^{\T} \mathbf{x} \] 를 얻는다. 이제, $\mathbf{x} \neq \mathbf{0}$이므로 $\mathbf{x}^{\T} \mathbf{x} \neq 0$이므로 위 식의 양변을 $\mathbf{x}^{\T} \mathbf{x}$로 나눠주면 원하는 등식을 얻는다.$ $

$ $