$ $
증명. $C = AB$, $D = BA$라 정의하자. 먼저 행렬 $C$에 대하여 케일리-해밀턴 정리(Cayley-Hamilton theorem)를 적용하면,
\[ C^2 - \tr(C)C + \det(C)I = O \tag*{$(1)$} \]
을 얻는다. 여기서
\[ \det(C)^2 = \det(C^2) = \det((AB)^2) = \det(O) = 0 \]
이므로 $\det(C)=0$임을 알 수 있다. 이를 식 $(1)$에 대입하면 $\tr(C)C = O$이므로, $\tr(C)=0$ 또는 $C=O$ 이어야만 한다. 따라서 어떤 경우에든지 $\tr(C)=0$를 얻을 수 있다.
$ $
이제 행렬 $D$에 대하여 케일리-해밀턴 정리를 적용하면,
\[ D^2 - \tr(D)D + \det(D)I = O \tag*{$(2)$} \]
여기서 $\tr$과 $\det$의 성질에 의해
\[ \begin{align*} \det(D) = \det(BA) = \det(AB) = \det(C) = 0 \\[5px] \tr(D) = \tr(BA) = \tr(AB) = \tr(C) = 0 \end{align*} \]
이므로 $\det(D) = \tr(D) = 0$이고 이를 $(2)$에 대입하면 $D^2=O$을 얻는다. 따라서 $(BA)^2 = O$임을 알 수 있다..