Ax = b를 연립방정식이 아닌 함수로 보기

선형대수에서 가장 자주 만나는 식 중 하나는 다음과 같다.

$$ Ax=b $$

처음에는 보통 이를 연립방정식으로 배운다.
행렬 $A$와 벡터 $b$가 주어졌을 때, 미지수 벡터 $x$를 구하는 문제로 접하는 경우가 많다.

하지만 조금 관점을 바꾸면 이 식은 단순한 연립방정식이 아니라 입력과 출력 사이의 관계를 나타내는 식으로 볼 수 있다.

x \xrightarrow{A} b

즉,

$$ T(x)=Ax $$

라고 두면 $A$는 입력 $x$를 출력 $b$로 보내는 하나의 선형변환(linear transformation) 이다.

$A$, $x$, $b$는 각각 무엇인가?

$$ Ax=b $$

에서 각 항은 다음과 같이 생각할 수 있다.

$x$: 입력
$A$: 입력을 변환하는 규칙
$b$: 변환의 결과

예를 들어,

A= \begin{bmatrix} 2&0\\ 0&3 \end{bmatrix}, \qquad x= \begin{bmatrix} 1\\ 2 \end{bmatrix}

이라면

b=Ax= \begin{bmatrix} 2\\ 6 \end{bmatrix}

이다.

이 경우 $A$는 $x$축 방향으로 2배, $y$축 방향으로 3배 확대하는 선형변환이라고 볼 수 있다.

무엇을 미지수로 두느냐에 따라 문제가 달라진다

같은 식

$$ Ax=b $$

라도 무엇을 알고 있고 무엇을 모르는지에 따라 문제의 의미는 달라진다.

크게 세 가지 경우로 나눌 수 있다.

1. $A$, $b$를 알고 $x$를 구하는 경우

가장 익숙한 형태다.

$$ Ax=b $$

를 만족하는 $x$를 찾는다.

즉,

어떤 입력을 넣었더니 이 출력이 나왔는가?

를 묻는 문제다.

연립선형방정식을 푸는 문제 대부분이 이 경우에 해당한다.

2. $A$, $x$를 알고 $b$를 구하는 경우

이 경우는 단순히 선형변환을 적용하면 된다.

$$ b=Ax $$

즉,

이 입력에 이 변환을 적용하면 어떤 결과가 나오는가?

를 묻는 문제다.

컴퓨터그래픽스에서 좌표 변환을 수행할 때 자주 보는 형태다.

3. $x$, $b$를 알고 $A$를 구하는 경우

이번에는 입력과 출력의 관계를 보고 변환 자체를 찾는다.

예를 들어 여러 입력과 출력의 대응 관계

x_1 \rightarrow b_1

x_2 \rightarrow b_2

x_3 \rightarrow b_3

를 알고 있다면, 이 관계를 가장 잘 설명하는 행렬 $A$를 구할 수 있다.

행렬의 각 원소는 결국 선형식의 계수(coefficient) 이므로, $A$를 찾는 것은 입력과 출력 사이의 선형 관계의 계수를 찾는 것과 같다.

선형변환은 함수지만 반드시 일대일 함수는 아니다

여기서 중요한 점이 하나 있다.

선형변환도 함수이므로 하나의 입력은 하나의 출력만 가진다.

하지만 서로 다른 여러 입력이 같은 출력으로 가는 것은 가능하다.

예를 들어

A= \begin{bmatrix} 1&1 \end{bmatrix}

라면

$$ Ax=x_1+x_2 $$

이다.

그러면

\begin{bmatrix} 1\\ 0 \end{bmatrix}, \qquad \begin{bmatrix} 0\\ 1 \end{bmatrix}, \qquad \begin{bmatrix} 2\\ -1 \end{bmatrix}

은 모두

$$ b=1 $$

이라는 같은 결과를 만든다.

즉,

x_1\neq x_2

이더라도

$$ Ax_1=Ax_2 $$

가 가능하다.

$Ax=b$의 해는 왜 없거나, 하나이거나, 여러 개인가?

이제 $Ax=b$에서 $x$를 찾는 문제를 생각해보자.

가능한 경우는 세 가지다.

1. 해가 없는 경우

어떤 $x$를 넣어도 원하는 $b$가 나오지 않을 수 있다.

이는 $b$가 $A$가 만들어낼 수 있는 출력의 범위 밖에 있다는 뜻이다.

행렬 $A$가 만들 수 있는 모든 출력의 집합을 열공간(Column Space) 이라고 한다.

따라서

b\notin \operatorname{Col}(A)

이면

$$ Ax=b $$

를 만족하는 $x$는 존재하지 않는다.

2. 해가 하나인 경우

$b$를 만드는 $x$가 정확히 하나 존재할 수도 있다.

이 경우 서로 다른 두 입력이 같은 출력으로 가지 않는다.

이를 확인하는 핵심은 영공간(Null Space) 이다.

\operatorname{Null}(A)=\{x\mid Ax=0\}

인데, 만약

\operatorname{Null}(A)=\{0\}

이라면 서로 다른 두 입력이 같은 출력으로 갈 수 없다.

3. 해가 여러 개인 경우

반대로 0이 아닌 어떤 벡터 $v$가 존재해서

$$ Av=0 $$

이라면 상황이 달라진다.

어떤 $x$가

$$ Ax=b $$

를 만족한다고 하자.

그러면

$$ A(x+v) = Ax+Av = b+0 = b $$

이다.

즉 $x$뿐만 아니라 $x+v$도 같은 $b$를 만든다.

따라서

\operatorname{Null}(A)\neq\{0\}

이면 같은 출력을 만드는 여러 입력이 존재할 수 있다.

Column Space와 Null Space

결국 $Ax=b$의 해에 관한 두 질문은 다음과 같이 정리할 수 있다.

1. 이 출력 $b$를 만들 수 있는가?

Column Space가 결정한다.

b\in\operatorname{Col}(A)

이면 해가 존재한다.

2. 그 출력을 만드는 입력이 하나뿐인가?

Null Space가 결정한다.

\operatorname{Null}(A)=\{0\}

이면 입력은 유일하다.

따라서

조건	결과
$b\notin\operatorname{Col}(A)$	해 없음
$b\in\operatorname{Col}(A)$, $\operatorname{Null}(A)={0}$	해 하나
$b\in\operatorname{Col}(A)$, $\operatorname{Null}(A)\neq{0}$	해 여러 개

$Ax=b$를 보는 또 다른 방법

이 관점에서 보면

$$ Ax=b $$

는 단순히 미지수를 구하는 공식이 아니다.

조금 더 일반적으로는

입력 $x$가 선형 시스템 $A$를 통과해서 출력 $b$가 되는 관계

라고 볼 수 있다.

그리고 이후에 만나게 될 많은 문제는 결국 이 관계를 서로 다른 방향에서 바라보는 문제다.

입력을 알고 결과를 계산하기
결과를 알고 원래 입력을 찾기
입력과 결과를 보고 시스템을 추정하기

다음 글에서는 이 중 두 번째 문제를 조금 더 깊게 본다.

특히 컴퓨터그래픽스에서 매우 익숙한 투영(Projection) 을 통해, 왜 선형변환 과정에서 정보가 사라질 수 있고 왜 역으로 되돌리는 것이 항상 가능한 것은 아닌지 살펴본다.