1.4. 벡터 노름(norm)과 행렬-노름(matrix-norm)

Table of Contents

선형연립방정식의 수치해법
1. 선형연립방정식_{(linear system)}
2. 크래머 공식_{(Cramer’s rule)}
3. 가우스 소거법_{(Gaussian elimination)}
4. 벡터 노름_(norm)과 행렬-노름_{(matrix-norm)}
5. 반복법과 야코비 방법_{(Jacobi method)}
6. 가우스-자이델 방법_{(Gauss-Seidel method)}
고윳값 방정식의 수치해법
선형회귀_{(linear regression)}
방정식의 수치해법
보간법_{(interpolation)}
스플라인_(spline)
최적근사함수
1. 직교다항식_{(orthogonal polynomial)}
2. 최적최소근사다항함수_{(best approximating polynomial)}
수치미적분법
초깃값 문제의 수치해법
경곗값 문제의 수치해법

벡터 노름_(norm)

벡터 $x \in R^{n}$ 에 대하여 $x$ 의 (유클리드) 노름을 다음과 같이 정의 했었다. ${‖ x ‖}_{2} := \sqrt{⟨ x, x ⟩} = \sqrt{x_{1}^{2} + x_{2}^{2} + \dots x_{n}^{2}}$ 노름을 주어진 벡터의 크기를 일반화한 개념으로써 아래와 같이 정의되는 함수이다.

정리 1.4.1. 노름_(norm)

다음 조건을 만족을 모두 만족하는 함수 $‖ \cdot ‖ : R^{n} \to R$ 를 $R^{n}$ 위에서 정의된 노름_(norm)이라 한다.

모든 $x \in R^{n}$ 에 대하여 $‖ x ‖ \geq 0$
$‖ x ‖ = 0$ 이면 $x = 0$ 이고 그 역도 성립
임의의 상수 $α \in R$ 에 대하여 $‖ α x ‖ = | α | ‖ x ‖$
모든 $x, y \in R^{n}$ 에 대하여 $‖ x + y ‖ \leq ‖ x ‖ + ‖ y ‖$

참고. 위 노름의 정의에서 (d)의 부등식을 삼각부등식_{(triangle inequality)}이라 한다.

수치해석학에서 자주 사용하는 벡터의 노름은 다음과 같은 것들이 있다:
벡터 $x = (x_{1}, x_{2}, \dots, x_{n}) \in R^{n}$ 에 대한

${‖ x ‖}_{1} = | x_{1} | + | x_{2} | + \dots + | x_{n} |$ ( $ℓ_{1}$ -노름)
${‖ x ‖}_{2} = \sqrt{x_{1}^{2} + x_{2}^{2} + \dots x_{n}^{2}}$ ( $ℓ_{2}$ -노름)
${‖ x ‖}_{\infty} = max {| x_{1} |, | x_{2} |, \dots, | x_{n} |}$ ( $ℓ_{\infty}$ -노름)

행렬-노름_{(matrix-norm)}

벡터의 노름과 같이 행렬의 노름은 주어진 행렬의 크기를 알려주는 함수이다.

정리 1.4.2. 행렬-노름_{(matrix-norm)}

다음 조건을 만족을 모두 만족하는 함수 $| ‖ \cdot ‖ | : R^{m \times n} \to R$ 를 $R^{n}$ 위에서 정의된 행렬-노름_{(matrix-norm)}이라 한다.

모든 $A \in R^{m \times n}$ 에 대하여 $| ‖ A ‖ | \geq 0$
$| ‖ A ‖ | = 0$ 이면 $A = O$ 이고 그 역도 성립
임의의 상수 $α \in R$ 에 대하여 $| ‖ α A ‖ | = | α | | ‖ A ‖ |$
모든 $A, B \in R^{m \times n}$ 에 대하여 $| ‖ A + B ‖ | \leq | ‖ A ‖ | + | ‖ B ‖ |$
모든 $A \in R^{m \times p}$ , $B \in R^{p \times n}$ 에 대하여 $| ‖ A B ‖ | \leq | ‖ A ‖ | | ‖ B ‖ |$

참고. 단위행렬 $I$ 의 행렬-노름은 언제나 $1$ 보다 큰 값을 가진다. $0 < | ‖ I ‖ | = | ‖ I^{2} ‖ | \leq | ‖ I ‖ | | ‖ I ‖ |$ 따라서 위 식의 양변을 $| ‖ I ‖ |$ 으로 나누어 주면 $| ‖ I ‖ | \geq 1$ 임을 알 수 있다.

참고. $R^{n}$ 위에서의 벡터 노름 $‖ \cdot ‖$ 이 하나 주어졌다고 하자. 이제 행렬 $A \in R^{n \times n}$ 에 대하여, $| ‖ A ‖ | = max_{‖ x ‖ = 1} ‖ A x ‖$ 로 정의하면 $| ‖ \cdot ‖ |$ 은 언제나 $R^{n \times n}$ 위에서의 행렬 노름이 된다. 이와 같이 정의되는 행렬 노름을 $‖ \cdot ‖$ 로 부터 유도된 작용소 노름_{(operator norm)}이라 한다.

예를 들어 앞서 살펴본 $ℓ_{p}$ ( $p = 1, 2, \infty$ ) 로부터 유도되는 작용소 노름의 경우, 행렬 $A = [a_{i j}] \in R^{m \times n}$ 에 대하여 $\begin{aligned} {| ‖ A ‖ |}_{1} & = max_{{‖ x ‖}_{1} = 1} {‖ A x ‖}_{1} = max_{1 \leq j \leq n} \sum_{i = 1}^{m} | a_{i j} |, \\ {| ‖ A ‖ |}_{\infty} & = max_{{‖ x ‖}_{\infty} = 1} {‖ A x ‖}_{\infty} = max_{1 \leq i \leq m} \sum_{j = 1}^{n} | a_{i j} |, \\ {| ‖ A ‖ |}_{2} & = max_{{‖ x ‖}_{2} = 1} {‖ A x ‖}_{2} = \sqrt{λ_{max} (A^{T} A)} . \end{aligned}$ 로 각각 주어진다. (따라서 ${| ‖ A ‖ |}_{1}$ 은 $A$ 의 열로 이루어진 벡터의 $ℓ_{1}$ -노름 중 최댓값, ${| ‖ A ‖ |}_{\infty}$ 는 $A$ 의 행으로 이루어진 벡터의 $ℓ_{1}$ -노름 중 최댓값과 같다.)

또는 다음과 같이 정의되는 프로베니우스 노름_{(Frobenius norm)} 또한 주로 사용된다. ${| ‖ A ‖ |}_{F} = \sqrt{tr (A^{T} A)} = \sqrt{\sum_{i = 1}^{m} \sum_{j = 1}^{n} {a_{i j}}^{2}} .$

예제 1.4.3.
Q. 행렬 $A = [\begin{matrix} 2 & - 2 & 0 \\ 0 & 1 & - 2 \end{matrix}]$ 에 대하여 ${| ‖ A ‖ |}_{1}$ , ${| ‖ A ‖ |}_{\infty}$ , ${| ‖ A ‖ |}_{2}$ , ${| ‖ A ‖ |}_{F}$ 를 각각 구하여라.

A. 우선 ${| ‖ A ‖ |}_{1}$ , ${| ‖ A ‖ |}_{\infty}$ 를 구하면 $\begin{aligned} {| ‖ A ‖ |}_{1} & = max {| 2 |, | - 2 | + | 1 |, | - 2 |} = 3, \\ {| ‖ A ‖ |}_{\infty} & = max {| 2 | + | - 2 |, | 1 | + | - 2 |} = 4. \end{aligned}$ 이제 ${| ‖ A ‖ |}_{2}$ 를 구해보자. 먼저 $A^{T} A = [\begin{matrix} 2 & 0 \\ - 2 & 1 \\ 0 & - 2 \end{matrix}] [\begin{matrix} 2 & - 2 & 0 \\ 0 & 1 & - 2 \end{matrix}] = [\begin{matrix} 4 & - 4 & 0 \\ 4 & 5 & - 2 \\ 0 & - 2 & 4 \end{matrix}]$ 이고 $A^{T} A$ 의 고윳값을 구해보면, $λ = 9, 4, 0$ 이므로 ${| ‖ A ‖ |}_{2} = \sqrt{9} = 3.$ 마지막으로 $\begin{matrix} {| ‖ A ‖ |}_{F} = \sqrt{2^{2} + (- 2)^{2} + 1^{2} + (- 2)^{2}} = \sqrt{13} . \end{matrix}$

참고. 행렬 $A \in R^{m \times n}$ 에 대하여 $A^{T} A$ 의 음이 아닌 고윳값과 $A A^{T}$ 의 음이 아닌 교윳값은 서로 같음이 알려져 있다. 이를 이용하면, 행렬 $A A^{T} = [\begin{matrix} 2 & - 2 & 0 \\ 0 & 1 & - 2 \end{matrix}] [\begin{matrix} 2 & 0 \\ - 2 & 1 \\ 0 & - 2 \end{matrix}] = [\begin{matrix} 8 & - 2 \\ - 2 & 5 \end{matrix}]$ 의 고윳값 $λ = 9, 4$ 로부터 ${| ‖ A ‖ |}_{2} = \sqrt{9} = 3$ 임을 좀 더 쉽게 구할 수 있다.

마찬가지로 $tr (A^{T} A) = tr (A A^{T})$ 가 성립하므로, $\sqrt{4 + 5 + 4} = \sqrt{tr (A^{T} A)} = \sqrt{tr (A A^{T})} = \sqrt{8 + 5}$ 가 되어 ${| ‖ A ‖ |}_{F} = \sqrt{13}$ 을 구할 수도 있다.

조건수_{(condition number)}

선형연립방정식 $A x = b$ 에서 $b$ 가 오차로 인해 $b + Δ b$ 로 변화했다면, 이 방정식의 해 $x$ 도 $x + Δ x$ 로 변화하게 된다. $A (x + Δ x) = b + Δ b .$ 따라서 $A Δ x = Δ b$ 또는 $Δ x = A^{- 1} Δ b$ 를 얻고 이 식의 양변에 노름을 취해 $‖ Δ x ‖ = ‖ A^{- 1} Δ b ‖ \leq | ‖ A^{- 1} ‖ | ‖ Δ b ‖$ 를 얻는다. 이제 $A x = b$ 의 양변에 노름을 취해 $‖ b ‖ = ‖ A x ‖ \leq | ‖ A ‖ | ‖ x ‖$ 를 얻늗나. 이제 이 두 식을 곱하여 정리하면 $\frac{‖ Δ x ‖}{‖ x ‖} \leq | ‖ A ‖ | | ‖ A^{- 1} ‖ | \frac{‖ Δ b ‖}{‖ b ‖}$ 이 되어 해의 상대오차 $\frac{‖ Δ x ‖}{‖ x ‖}$ 의 상한을 얻을 수 있다. 같은 방법으로 두 등식 $x = A^{- 1} b$ 와 $A Δ x = Δ b$ 의 양변에 노름을 취해 얻은 부등식을 서로 곱하여 정리하면, 상대오차에 대한 하한 $\frac{1}{| ‖ A ‖ | | ‖ A^{- 1} ‖ |} \frac{‖ Δ b ‖}{‖ b ‖} \leq \frac{‖ Δ x ‖}{‖ x ‖}$ 또한 얻는다.

따라서 다음과 같이 정의된 정사각행렬 $A$ 의 조건수_{(condition number)} $κ (A) = | ‖ A ‖ | | ‖ A^{- 1} ‖ |$ 를 이용하면 다음 정리를 얻는다.

정리 1.4.4.

선형연립방정식 $A x = b$ 에서 $b$ 가 오차로 인해 $b + Δ b$ 로 변화하여, $A (x + Δ x) = b + Δ b$ 를 얻었다고 하자. 이때, 다음 부등식이 성립한다. $\frac{1}{κ (A)} \frac{‖ Δ b ‖}{‖ b ‖} \leq \frac{‖ Δ x ‖}{‖ x ‖} \leq κ (A) \frac{‖ Δ b ‖}{‖ b ‖}$

위 정리에 의하면 주어진 정사각행렬 $A$ 의 조건수가 매우 크다면, $b$ 의 작은 변화량 $Δ b$ 에도 이 방정식의 해 $x$ 의 변화량 $Δ x$ 가 매우 커질 수 있다. 이와 같이 조건수가 큰 행렬을 불량조건 행렬_{(ill-conditioned matrix)}라 한다. 참고로 역행렬이 존재하지 않는 행렬의 조건수는 $\infty$ 이다.

참고. 정사각행렬 $A$ 의 조건수 $κ (A)$ 는 언제나 $1$ 보다 크거나 같은 값을 가진다. $\begin{matrix} κ (A) = | ‖ A ‖ | | ‖ A^{- 1} ‖ | \geq | ‖ A A^{- 1} ‖ | = | ‖ I ‖ | \geq 1. \end{matrix}$

Math Storehouse

A collection of mathematical odds and ends

1.4. 벡터 노름(norm)과 행렬-노름(matrix-norm)