1. 볼록집합(convex set)

Table of Contents

  1. 볼록집합(convex set)
  2. 볼록함수(convex function)
  3. 거리함수(distance function)
  4. 볼록분할(convex separation)
  5. 볼록집합에 대한 수직원뿔(normal cone)
  6. 볼록함수의 하방미분(subdifferential)
  7. 하방미분의 합공식(sum rule)
  8. 하방미분의 연쇄법칙(chain rule)
  9. 하방미분의 최댓값공식(maximum rule)
  10. 볼록함수의 연속성(continuity)
  11. 펜첼 켤레(Fenchel conjugate)
  12. 볼록함수의 방향도함수(directional derivative)
  13. 하방미분(subdifferential)과 미분가능성
  14. 하반연속(lower semicontinuity)와 최소값의 존재성
  15. 라그랑주 곱셈자(Lagrange multiplier)와 xxx

볼록집합(convex set)
정의 1.1 볼록집합(convex set)

$\R^{n}$의 부분집합 $C$가 주어졌다고 하자. 만약 임의의 $x,\, y \in C$와 실수 $\lambda \in [0,\, 1]$에 대하여, \[ \lambda x + (1 - \lambda) y \in C \] 가 성립하면 $C$를 볼록집합(convex set)이라 한다.

$ $

참고. 주어진 $x,\, y \in \R^{n}$에 대하여, $x$와 $y$를 잇는 선분(line segment) $[x,\, y]$는 다음과 같이 정의되는 집합이다. \[ [x,\, y] = \set{\lambda x + (1 - \lambda) y}{\lambda \in [0,\, 1]}. \] 그러면 볼록집합의 정의에 따라 $C \subseteq \R^{n}$이 볼록집합인 것은 임의의 $x,\, y \in C$에 대하여 $[x,\, y] \subseteq C$인 것과 동치임을 간단히 확인할 수 있다.$ $

$ $

정리 1.2

$C \subseteq \R^{n}$과 $D \subseteq \R^{m}$가 각각 볼록집합일 때, 그 둘의 데카르트곱(Cartesian product) $C \times D$는 $\R^{n} \times \R^{m}$에서 정의된 볼록집합이다.

$ $

증명. 두 점 $(x_1,\, x_2),\, (y_1,\, y_2) \in C \times D$과 실수 $\lambda \in [0,\, 1]$이 주어졌다고 하자. 그러면 $x_1,\, x_2 \in C$, $y_1,\, y_2 \in D$가 성립하고, $C$와 $D$가 각각 볼록집합이므로, \[ \lambda (x_1,\, x_2) + (1 - \lambda) (y_1,\, y_2) = \Big( \lambda x_1 + (1 - \lambda) x_2,\, \lambda y_1 + (1 - \lambda) y_2 \Big) \in C \times D \] 가 성립한다. 따라서 성의에 의해 $C \times D$는 $\R^{n} \times \R^{m}$의 볼록부분집합임을 알 수 있다.$ $

$ $

정리 1.3

$A : \R^n \to \R^m$이 아핀변환(affine mapping)이라 하자.

  1. $C$가 $\R^n$의 볼록집합이면, $A(C)$는 $\R^m$의 볼록부분집합이다.
  2. $D$가 $\R^m$의 볼록집합이면, $A^{-1}(D)$는 $\R^n$의 볼록부분집합이다.

$ $

증명. 먼저 (1)을 증명하기 위해 $x,\, y \in A(C)$와 $\lambda \in [0,\, 1]$을 택하자. 그러면 $A(x) = a$, $A(y) = b$를 만족하는 $x,\, y \in C$가 존재한다. 그러면 위 보조정리에 의해 \[ \lambda a + (1 - \lambda) b = \lambda A(x) + (1 - \lambda) A(y) = A \Big( \lambda x + (1 - \lambda) y \Big). \] 이제 $x,\, y \in C$이고 $C$가 볼록집합이므로, $\lambda x + (1 - \lambda) y \in C$가 성립하고, 따라서 $\lambda a + (1 - \lambda) b \in A(C)$임을 알 수 있다. 따라서 $A(C)$는 볼록집합이다. (2)의 증명은 (1)의 증명과 유사하므로 생략하도록 하자.$ $

$ $

두 집합 $C,\, D \subseteq \R^n$과 실수 $\lambda \in \R$에 대하여 다음을 정의하자. \[ \begin{align*} \lambda C &= \set{\lambda x}{x \in C}, \\[5px] C + D &= \set{x + y}{x \in C,\, y \in D}. \end{align*} \]

$ $

따름정리 1.4

$\R^n$의 두 볼록집합 $C,\, D$와 실수 $\lambda \in \R$에 대하여 두 집합 $\lambda C$와 $C + D$는 모두 볼록집합이다.

$ $

증명. 아핀변환 $A_1 : \R^n \to \R^n$을 임의의 $x \in \R^n$에 대하여 $A_1(x) = \lambda x$와 같이 정의하자. 그러면 $A_1(C) = \lambda C$이므로 정리 1.3에 의해 $\lambda C$는 볼록집합이다. 이와 유사하게 이번에는 아핀변환 $A_2 : \R^n \times \R^n \to \R^n$을 임의의 $(x,\, y) \in \R^n \times \R^n$에 대하여 $A_2(x,\, y) = x + y$로 정의하자. 그러면 정리 1.2에 의해 $C \times D$는 ($\R^n \times \R^n$에서 정의된) 볼록집합이고, $A_2(C \times D) = C + D$가 성립하므로, 다시 한 번 정리 1.3에 의해 $C + D$가 볼록집합임을 알 수 있다.$ $

$ $

정리 1.5

$\{C_{\alpha}\}_{\alpha \in I}$가 $\R^n$의 볼록집합들의 모임이라고 하자. 그러면 $\bigcap_{\alpha \in I} C_{\alpha}$ 또한 $\R^n$의 볼록집합이다.

$ $

증명. 두 원소 $x,\, y \in \bigcap_{\alpha \in I} C_{\alpha}$와 실수 $\lambda \in [0,\,1]$를 택하자. 그러면 모든 $\alpha \in I$에 대하여 $x,\, y \in C_{\alpha}$고 $C_{\alpha}$는 볼록집합이므로, $\lambda x + (1 - \lambda) y \in C_{\alpha}$가 성립한다. 따라서 $\lambda x + (1 - \lambda) y \in \bigcap_{\alpha \in I} C_{\alpha}$를 얻을 수 있고, 이로부터 $\{C_{\alpha}\}_{\alpha \in I}$의 교집합은 언제나 볼록집합이라는 결론을 얻는다.$ $

$ $

볼록결합(convex combination)과 볼록껍질(convex hull)
정의 1.6

$x \in \R^n$이 주어졌다고 하자. 만약 유한개의 점 $x_1,\, x_2,\, \ldots,\, x_m \in \R^n$과 음이아닌 실수 $\lambda_1,\, \lambda_2,\, \ldots,\, \lambda_m \geq 0$이 존재하여, \[ x = \sum_{i=1}^{m} \lambda_i x_i, \quad 1 = \sum_{i=1}^{m} \lambda_i \] 가 성립하면, $x$를 점 $x_1,\, x_2,\, \ldots,\, x_m$의 볼록결합(convex combination)으로 표현가능하다고 한다.

$ $

따라서 정의에 의해 볼록결합은 선형결합(linear combination)에서 $\lambda_i \geq 0$이고 $1 = \sum_{i=1}^{m} \lambda_i$인 특수한 경우임을 알 수 있다.

$ $

정리 1.7

$C \in \R^n$이 볼록집합인 것과, $C$의 임의의 원소들의 볼록결합이 다시 $C$의 원소가 되는 것은 서로 동치이다.

$ $

증명. $C$의 임의의 원소들의 볼록결합이 다시 $C$의 원소가 되는 경우 $C$가 볼록집합이 됨은 자명하므로, 반대방향을 증명하도록 하자. 즉, $C$가 볼록집합임을 가정하고 임의의 양의 정수 $m$에 대하여, $C$의 $m$개의 원소들의 볼록결합이 다시 $C$의 원소가 됨을 보일 것이다. 증명은 $m$에 대한 수학적귀납법을 이용할 것이다. 먼저 $m = 1,\, 2$인 경우, $C$가 볼록집합이라는 가정으로부터 주어진 명제가 성립한다. 이제 $C$의 임의의 $m$개의 원소들의 볼록결합이 다시 $C$의 원소가 된다고 가정하고, 다음과 같이 $C$의 $m+1$개의 원소의 볼록결합을 생각해 보자. \[ x = \sum_{i=1}^{m+1} \lambda_i x_i, \quad 1 = \sum_{i=1}^{m+1} \lambda_i. \] 만약 $\lambda_{m+1} = 1$이라면, $\lambda_1 = \lambda_2 = \cdots = \lambda_m = 0$이어야만 하므로, $x = \lambda_{m+1} x_{m+1} = x_{m+1} \in C$가 되어 주어진 명제가 성립한다. 한 편, $\lambda_{m+1} < 0$인 경우, $i = 1,\, 2,\, \ldots,\, m$에 대하여 $\mu_i = \frac{\lambda_i}{1 - \lambda_{m+1}}$를 정의하자. 그러면 모든 $i$에 대하여 $\mu_i \geq 0$이고, \[ \sum_{i=1}^{m} \mu_i = \frac{1}{1 - \lambda_{m+1}} \sum_{i=1}^{m} \lambda_i = \frac{1}{1 - \lambda_{m+1}} (1 - \lambda_{m+1}) = 1 \] 이 성립한다. 즉, 원소 $y = \sum_{i=1}^{m} \mu_i x_i$는 $C$의 $m$개의 원소들의 볼록결합이므로 $y \in C$임을 알 수 있다. 그러므로 \[ \begin{align*} x = \sum_{i=1}^{m+1} \lambda_i x_i &= \sum_{i=1}^{m} \lambda_i x_i + \lambda_{m+1} x_{m+1} \\[5px] &= (1 - \lambda_{m+1}) \sum_{i=1}^{m} \mu_i x_i + \lambda_{m+1} x_{m+1} \\[5px] &= (1 - \lambda_{m+1}) y + \lambda_{m+1} x_{m+1} \in C \end{align*} \] 가 되어 $m+1$일 때도 주어진 명제가 성립한다. 따라서 수학적 귀납법에 의해 $C$가 볼록집합인 경우, $C$의 임의의 원소들의 볼록결합이 다시 $C$의 원소가 됨을 알 수 있다.$ $

$ $

정의 1.7

$S$가 $\R^n$의 임의의 부분집합이라 하자. 그러면 $S$의 볼록껍질(convex hull)을 다음과 같이 정의한다. \[ \text{conv}(S) = \bigcap \set{C \subseteq \R^n}{\text{$C$ is convex and $S \subseteq C$}}. \]

$ $

즉, $\text{conv}(S)$는 $S$를 포함하는 $\R^n$의 볼록집합 중 가장 작은 볼록집합을 의미한다. (여기서 임의의 볼록집합들의 교집합이 다시 볼록집합이 됨은 정리 1.5에서 확인하였다.) 다음 정리는 임의의 집합 $S \subseteq \R^n$에 대하여 $\text{conv}(S)$는 $S$의 임의의 원소들의 볼록결합들을 모두 모아놓은 집합과 같음을 보여준다.

$ $

정리 1.8

임의의 집합 $S \subseteq \R^n$에 대하여 다음이 성립한다. \[ \text{conv}(S) = \set{\sum_{i=1}^{m} \lambda_i x_i}{x_i \in S,\; \lambda_i \geq 0,\; \sum_{i=1}^{m} \lambda_i = 1}. \]

$ $

증명. 위 등식의 오른쪽 집합을 $C$라 하자. 그러면 $C$의 정의에 의해 $S \subseteq C$가 성립한다. 이제 $C$가 볼록집합임을 증명해 보자. 이를 위해 임의의 두 원소 $x,\, y \in C$와 실수 $\xi \in [0,\, 1]$를 택하자. 우선 $C$의 정의에 의해 $x,\, y$를 다음과 같이 \[ x = \sum_{i=1}^{m} \lambda_i x_i, \quad y = \sum_{j=1}^{k} \mu_j y_j, \] $x_i,\, y_j \in S$, $\lambda_i,\, \mu_j \geq 0$, $\sum_{i=1}^{m} \lambda_i = \sum_{j=1}^{k} \mu_j = 1$로 나타낼 수 있다. 그러면 \[ \xi x + (1 - \xi) y = \xi \sum_{i=1}^{m} \lambda_i x_i + (1 - \xi) \sum_{j=1}^{k} \mu_j y_j = \sum_{i=1}^{m} \xi \lambda_i x_i + \sum_{j=1}^{k} (1 - \xi) \mu_j y_j \] 를 얻는다. 또한 \[ \sum_{i=1}^{m} \xi \lambda_i + \sum_{j=1}^{k} (1 - \xi) \mu_j = \xi \sum_{i=1}^{m} \lambda_i + (1 - \xi) \sum_{j=1}^{k} \mu_j = \xi + (1 - \xi) = 1 \] 이 성립하므로, $\xi x + (1 - \xi) y \in C$임을 알 수 있다. 따라서 $C$는 ($S$를 포함하는) 볼록집합이고, $\text{conv}(S) \subseteq C$가 성립한다. 한 편, 반대 방향의 포함관계를 보이기 위해 임의의 $x = \sum_{i=1}^{m} \lambda_i x_i \in C$, $x_i \in S$, $\lambda_i \geq 0$, $\sum_{i=1}^{m} \lambda_i = 1$을 택하자. 그러면 $x_i \in S \subseteq \text{conv}(S)$가 성립하므로 $x$는 $\text{conv}(S)$의 원소들의 볼록결합으로 표현되었다고 생각할 수 있다. 이제 $\text{conv}(S)$가 볼록집합이므로, 정리 1.7에 의해 $x \in \text{conv}(S)$가 성립한다. 따라서 $C \subseteq \text{conv}(S)$이고, 동시에 $\text{conv}(S) \subseteq C$이므로, $\text{conv}(S) = C$가 성립한다.$ $

$ $